[论文解读] Iterative Reweighted Minimization Methods for $l_p$ Regularized Unconstrained Nonlinear Programming

Zhaosong Lu|arXiv (Cornell University)|Sep 29, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用 7

一句话总结

该论文为 $p \in (0,1)$ 的 $l_p$-正则化无约束非线性规划提出了一类新颖的迭代重加权最小化方法，引入了一种利普希茨连续的 $\epsilon$-近似来逼近 $\|x\|_p^p$，从而在无需动态调整 $\epsilon$ 的情况下实现收敛性保证。关键贡献在于证明了当 $\epsilon$ 低于一个可计算的阈值时，新 IRL1 方法的任意聚点均为一阶平稳点——这比现有方法要求 $\epsilon \to 0$ 的收敛性更强。计算结果表明，目标函数值和 CPU 时间均具有更高的稳定性。

ABSTRACT

In this paper we study general $l_p$ regularized unconstrained minimization problems. In particular, we derive lower bounds for nonzero entries of first- and second-order stationary points, and hence also of local minimizers of the $l_p$ minimization problems. We extend some existing iterative reweighted $l_1$ (IRL1) and $l_2$ (IRL2) minimization methods to solve these problems and proposed new variants for them in which each subproblem has a closed form solution. Also, we provide a unified convergence analysis for these methods. In addition, we propose a novel Lipschitz continuous $ε$-approximation to $\|x\|^p_p$. Using this result, we develop new IRL1 methods for the $l_p$ minimization problems and showed that any accumulation point of the sequence generated by these methods is a first-order stationary point, provided that the approximation parameter $ε$ is below a computable threshold value. This is a remarkable result since all existing iterative reweighted minimization methods require that $ε$ be dynamically updated and approach zero. Our computational results demonstrate that the new IRL1 method is generally more stable than the existing IRL1 methods [21,18] in terms of objective function value and CPU time.

研究动机与目标

• 为 $l_p$-正则化无约束非线性规划（$p \in (0,1)$）开发稳定且收敛的迭代重加权最小化方法。
• 推导 $l_p$ 最小化问题中一阶和二阶平稳点以及局部极小点的非零分量的下界。
• 提出一种新颖的利普希茨连续 $\epsilon$-近似来逼近 $\|x\|_p^p$，从而在无需动态更新 $\epsilon$ 的情况下实现收敛性分析。
• 将现有的 IRL1 和 IRL2 方法推广至一般 $l_p$ 问题，并提供统一的收敛性分析。
• 通过目标函数值和 CPU 时间指标，展示新 IRL1 方法相较于现有变体的计算优越性。

提出的方法

• 提出一种新的 $\epsilon$-近似来逼近 $\|x\|_p^p$，即 $\sum_{i=1}^n (|x_i| + \epsilon)^p$，该近似具有利普希茨连续性，可实现稳定优化。
• 通过在 $\epsilon$-近似上应用迭代重加权策略，开发新的 IRL1 方法，并以闭式解法求解每个子问题。
• 在新近似框架下，建立对扩展 IRL1 和 IRL2 方法的统一收敛性分析。
• 推导出一个可计算的 $\epsilon$ 阈值，使得新 IRL1 方法生成序列的任意聚点均为一阶平稳点。
• 将该方法应用于求解 $\min_x \{ f(x) + \lambda \|x\|_p^p \}$，其中 $f$ 具有 $L_f$-利普希茨连续梯度且有下界。
• 通过随机生成的 $A$、$b$ 和 $\lambda = 3 \times 10^{-3}$ 进行数值实验，比较 $p = 0.1$ 和 $p = 0.5$ 情况下的性能表现。

实验结果

研究问题

• RQ1 能否使用固定且非动态更新的 $\epsilon$-近似来逼近 $\|x\|_p^p$，以确保在 $l_p$ 最小化中收敛至一阶平稳点？
• RQ2 在 $l_p$-正则化问题中，一阶和二阶平稳点的非零分量具有怎样的下界？
• RQ3 所提出的 IRL1 和 IRL2 变体在稳定性与收敛速度方面与现有方法相比如何？
• RQ4 是否可通过利普希茨连续的 $\epsilon$-近似来实现收敛性保证，而无需要求 $\epsilon \to 0$？
• RQ5 新 IRL1 方法是否在目标函数值和更低的 CPU 时间上优于先前的 IRL1 方法？

主要发现

• 在所有测试实例中，新 IRL1 方法在目标函数值和 CPU 时间方面均表现出比现有 IRL1 方法 [21, 18] 更好的稳定性。
• 对于 $p = 0.1$，新 IRL1 变体（IRL1-3）在 10 个实例中有 3 个达到最佳目标值，且平均 CPU 时间显著低于 IRL1-1 和 IRL1-2。
• 对于 $p = 0.5$，所有三种 IRL1 变体的目标值相近，但 IRL1-3 和 IRL1-2 的 CPU 时间远低于 IRL1-1。
• 所提出的 $\epsilon$-近似使得当 $\epsilon$ 低于可计算阈值时，可收敛至一阶平稳点，而无需动态减小 $\epsilon$ 至零。
• 统一的收敛性分析证实，在新框架下，扩展的 IRL1 和 IRL2 方法具有全局收敛性质。
• 推导出了一阶和二阶平稳点非零分量的下界，为解的稀疏性提供了理论洞察。