[论文解读] Iterative Hard Thresholding Methods for $l_0$ Regularized Convex Cone Programming

Zhaosong Lu|arXiv (Cornell University)|Oct 31, 2012

Sparse and Compressive Sensing Techniques参考文献 10被引用 15

一句话总结

本文提出用于求解 $l_0$-正则化凸锥规划问题的迭代硬阈值（IHT）方法，结合二次惩罚松弛和动态惩罚参数更新。建立了收敛至局部极小值的结果，并提供了寻找 $\epsilon$-近似解的迭代复杂度界，将 IHT 扩展至带锥约束的稀疏优化问题。

ABSTRACT

In this paper we consider $l_0$ regularized convex cone programming problems. In particular, we first propose an iterative hard thresholding (IHT) method and its variant for solving $l_0$ regularized box constrained convex programming. We show that the sequence generated by these methods converges to a local minimizer. Also, we establish the iteration complexity of the IHT method for finding an $ε$-local-optimal solution. We then propose a method for solving $l_0$ regularized convex cone programming by applying the IHT method to its quadratic penalty relaxation and establish its iteration complexity for finding an $ε$-approximate local minimizer. Finally, we propose a variant of this method in which the associated penalty parameter is dynamically updated, and show that every accumulation point is a local minimizer of the problem.

研究动机与目标

• 开发用于 $l_0$-正则化凸锥规划的高效迭代硬阈值方法。
• 建立 IHT 方法在框约束 $l_0$-正则化凸规划下收敛至局部极小值的理论结果。
• 分析在 $l_0$-正则化设定下寻找 $\epsilon$-局部最优解的迭代复杂度。
• 通过二次惩罚松弛与动态惩罚参数更新，将 IHT 扩展至一般凸锥规划问题。
• 证明在动态惩罚参数更新下，迭代序列的每个聚点均为原 $l_0$-正则化问题的局部极小值。

提出的方法

• 提出一种 IHT 方法及其变体，用于 $l_0$-正则化框约束凸规划，利用硬阈值保持稀疏性。
• 将 IHT 方法应用于 $l_0$-正则化凸锥规划的二次惩罚松弛形式，以处理锥约束。
• 采用带-Lipschitz 连续梯度和法锥条件的投影梯度框架分析收敛性。
• 引入动态惩罚参数更新机制，以改善收敛性质并确保局部极小值的聚点特性。
• 利用法锥条件与对偶锥距离刻画最优性与收敛性。
• 通过投影梯度的下降性质与惩罚松弛的特性，建立迭代复杂度界。

实验结果

研究问题

• RQ1 IHT 方法能否被有效扩展至具有锥约束的 $l_0$-正则化凸锥规划问题？
• RQ2 在 $l_0$-正则化框约束问题中，IHT 方法寻找 $\epsilon$-局部最优解的迭代复杂度是多少？
• RQ3 在二次惩罚松弛中采用动态惩罚参数更新，是否能保证收敛至局部极小值？
• RQ4 在不同惩罚参数下，IHT 迭代序列的收敛行为如何，是否收敛至局部极小值？
• RQ5 IHT 框架能否被推广至具有-Lipschitz 梯度的非凸 $l_0$-正则化问题？

主要发现

• 对于 $l_0$-正则化框约束凸规划，IHT 方法生成的序列收敛至局部极小值。
• 在框约束问题中，IHT 方法在 $O(1/\epsilon^2)$ 次迭代内达到 $\epsilon$-局部最优解。
• 对于凸锥规划的二次惩罚松弛形式，该方法在 $O(1/\epsilon^2)$ 次迭代内找到 $\epsilon$-近似局部极小值。
• 在动态惩罚参数更新下，迭代序列的每个聚点均为原 $l_0$-正则化问题的局部极小值。
• 随着惩罚参数的更新，对偶可行性间隙 $d_{{\cal K}^*}(Ax-b)$ 渐近趋于零。
• 收敛性分析依赖于法锥条件与具有有界次梯度的投影梯度下降。