[論文レビュー] IHT dies hard: Provable accelerated Iterative Hard Thresholding

Rajiv Khanna, Anastasios Kyrillidis|arXiv (Cornell University)|Dec 26, 2017

Sparse and Compressive Sensing Techniques参考文献 61被引用数 15

ひとこと要約

本稿は、構造的スパースおよび低ランク最適化問題に対する反復的ハードスラッグイング（IHT）の加速版を提案し、収束を向上させるためにモーメンタムを組み込む。標準的な仮定の下で理論的収束保証を確立し、実験的に、加速IHTが、速度およびサポート回復の両面で、最先端の投影勾配降下法およびフランク＝ウォルフ法を上回ることを示している。収束モードは、モーメンタムのレベルに応じて「リピーリング」と「線形」の2種類に分かれる。

ABSTRACT

We study --both in theory and practice-- the use of momentum motions in classic iterative hard thresholding (IHT) methods. By simply modifying plain IHT, we investigate its convergence behavior on convex optimization criteria with non-convex constraints, under standard assumptions. In diverse scenaria, we observe that acceleration in IHT leads to significant improvements, compared to state of the art projected gradient descent and Frank-Wolfe variants. As a byproduct of our inspection, we study the impact of selecting the momentum parameter: similar to convex settings, two modes of behavior are observed --"rippling" and linear-- depending on the level of momentum.

研究の動機と目的

• 非凸で構造的制約を伴う最適化設定において、加速IHTの初めての理論的収束保証を提供すること。
• モーメンタムがIHTにおける収束行動に与える影響を調査すること、特に、凸設定と同様に「リピーリング」と「線形」という2つの異なる収束モードを誘発するかどうかを検討すること。
• 実世界の構造的ERM問題において、最先端の手法（例：フランク＝ウォルフ法、投影勾配降下法）と比較して、加速IHTの性能を実験的に評価すること。
• 相関のある特徴やノイズが存在する状況でも、加速IHTが強力なサポート回復および一般化性能を維持できることを示すこと。
• スパarsityパラメータが過大に推定された場合でも、加速IHTがスケーラブルで効率的であり、そのような状況下でベースラインIHTを上回ることを示すこと。

提案手法

• Nesterov風のモーメンタムを反復的ハードスラッグイングフレームワークに適応し、更新式を過去2回の反復に基づくモーメンタム項を含む形に修正する。
• 各ハードスラッグイング操作の後、アクティブなアトム集合上での最小二乗部分問題を解く完全補正ステップを導入する。
• スパarsityまたは低ランク構造を維持するため、k個の最も顕著なアトム（例：絶対値が最大の要素、グループ、またはランク1成分）を選択する射影演算子 Π_{k,𝒜} を採用する。
• 原子ノルムによって定義される非凸制約を伴う構造的ERM問題をモデル化するため、制限された強い凸性を持つ損失関数 f(x) = ½‖b − Φx‖₂² を使用する。
• 各反復で目的関数の十分な減少を保証するため、ラインサーチまたはバックトラッキング戦略を適用し、安定性を向上させる。
• 正確なスパarsityの分析を超えて、ノイズあり設定やフェーズ遷移領域を含む分析を拡張し、最適解に関する従来の仮定を排除する。

実験結果

リサーチクエスチョン

• RQ1 非凸IHT手法において、モーメンタムを証明的に加速できるか。また、どのような条件下で収束が速くなるか。
• RQ2 加速IHTにおけるモーメンタムパラメータが、凸設定と同様に「リピーリング」と「線形」という2つの異なる収束モードを誘発するか。
• RQ3 収束速度およびサポート回復の観点から、加速IHTはフランク＝ウォルフ法や投影勾配降下法といった最先端手法と比較してどのように差をつけるか。
• RQ4 スパarsityパラメータkを過大に推定した場合、加速IHTは通常IHTと比較して性能にどのような影響を与えるか。
• RQ5 特徴の相関やノイズが存在する状況でも、加速IHTは強力な一般化性能および回復性能を維持できるか。

主な発見

• 大規模なスパース線形回帰問題（n = 2×10⁵）において、加速IHTはフランク＝ウォルフ法のバリエーションよりも少なくとも10倍速い収束を達成した。
• スパarsityパラメータが過大に推定された場合（例：2441 vs. k=500）、加速IHTは通常IHTよりも2倍以上速く、同等の精度を達成した。
• モーメンタムのレベルに応じて、凸最適化で観察されたのと同様に、「リピーリング」と「線形」という2つの異なる収束行動を示した。
• 相関のある特徴とSNR=10の条件下の実験では、加速IHTはLasso、FoBa、およびグリーディ選択法と比較して、R²性能およびサポート回復のAUCで競争的または優れた結果を示した。
• 完全補正ステップは、収束およびサポート検出を著しく改善し、特にkが過大に推定された場合に、実用的・実験的により頑健な性能を発揮した。
• 理論的分析により、制限された強い凸性および制約集合上での正確な射影が成り立つ標準的仮定のもとで、加速IHTの線形収束が確認された。