[论文解读] IHT dies hard: Provable accelerated Iterative Hard Thresholding

Rajiv Khanna, Anastasios Kyrillidis|arXiv (Cornell University)|Dec 26, 2017

Sparse and Compressive Sensing Techniques参考文献 61被引用 15

一句话总结

本文提出并分析了一种用于结构化稀疏与低秩优化问题的加速型迭代硬阈值法（IHT），通过引入动量项以提升收敛速度。在标准假设下建立了理论收敛保证，并通过实验证明，加速IHT在收敛速度与支持恢复性能上均优于当前最先进的投影梯度下降与Frank-Wolfe方法，且根据动量水平的不同，表现出两种不同的收敛模式——涟漪型（rippling）与线性型（linear）。

ABSTRACT

We study --both in theory and practice-- the use of momentum motions in classic iterative hard thresholding (IHT) methods. By simply modifying plain IHT, we investigate its convergence behavior on convex optimization criteria with non-convex constraints, under standard assumptions. In diverse scenaria, we observe that acceleration in IHT leads to significant improvements, compared to state of the art projected gradient descent and Frank-Wolfe variants. As a byproduct of our inspection, we study the impact of selecting the momentum parameter: similar to convex settings, two modes of behavior are observed --"rippling" and linear-- depending on the level of momentum.

研究动机与目标

• 为非凸、结构化优化设置下具有非凸约束的加速IHT提供首个理论收敛保证。
• 研究动量对IHT中收敛行为的影响，特别是其是否如凸设置中那样引发‘涟漪’与‘线性’等不同模式。
• 在真实世界的结构化Elastic Regularized Minimization（ERM）问题上，实证评估加速IHT与当前最先进方法（如Frank-Wolfe、投影梯度下降）的性能表现。
• 证明即使在特征相关与噪声条件下，加速IHT仍能保持优异的支持恢复与泛化性能。
• 展示该方法具有可扩展性与高效性，尤其在稀疏性参数被高估时，其性能仍优于基线IHT。

提出的方法

• 将Nesterov风格的动量引入迭代硬阈值框架，通过基于前两次迭代的动量项修改更新规则。
• 在每次硬阈值操作后引入完全校正步骤，通过在活跃原子集合上求解最小二乘子问题以优化解。
• 采用投影算子 Π_{k,𝒜}，选择k个最重要原子（如最大模值元素、分组或秩一成分），以维持稀疏性或低秩结构。
• 使用受限强凸损失函数 f(x) = ½‖b − Φx‖₂² 来建模具有非凸约束（由原子范数定义）的结构化ERM问题。
• 采用线搜索或回溯策略，确保每次迭代中目标函数充分下降，从而增强稳定性。
• 将分析范围从精确稀疏性扩展至含噪声场景与相变区域，消除了对最优解的先前假设。

实验结果

研究问题

• RQ1 动量能否在非凸IHT方法中被理论证明实现加速？在何种条件下可实现更快收敛？
• RQ2 加速IHT中的动量参数是否如凸设置中那样引发两种不同的收敛模式——‘涟漪’与‘线性’？
• RQ3 在收敛速度与支持恢复性能方面，加速IHT相较于Frank-Wolfe与投影梯度下降等最先进方法表现如何？
• RQ4 高估稀疏性参数k对加速IHT与普通IHT性能的影响是什么？
• RQ5 在特征相关与噪声存在的情况下，加速IHT能否保持强大的泛化与恢复性能？

主要发现

• 在 n = 2×10⁵ 的大规模稀疏线性回归问题中，加速IHT的收敛速度比Frank-Wolfe变体至少快10倍。
• 当稀疏性参数被高估（如2441 vs. k=500）时，加速IHT仍比普通IHT快两倍以上，且精度相当。
• 该方法根据动量水平的不同，表现出两种截然不同的收敛行为——涟漪型与线性型，与凸优化中的观察结果一致。
• 在具有相关特征与信噪比SNR=10的实验中，加速IHT在支持恢复的R²与AUC性能上与Lasso、FoBa及贪婪选择方法相比，表现相当或更优。
• 完全校正步骤显著提升了收敛速度与支持检测能力，尤其在k被高估时，使方法在实际应用中更具鲁棒性。
• 理论分析证实，在标准假设下（包括受限强凸性与约束集上的精确投影），加速IHT方法具有线性收敛性。