[論文レビュー] Screening Rules for Lasso with Non-Convex Sparse Regularizers

Alain Rakotomamonjy, Gilles Gasso+1 more|arXiv (Cornell University)|Feb 16, 2019

Systemic Lupus Erythematosus Research参考文献 3被引用数 10

ひとこと要約

本稿は、非凸なスパース正則化子に対するLasso問題における、初めてのスクリーニングルール戦略を提示する。主に、反復的に重み付きLassoの部分問題を解くMM（主要化・最小化）フレームワークを用い、双対ギャップに基づくスクリーニングと反復間でのスクリーニング伝播を統合する。この手法により、有限時間内にゼロ成分を特定し、収束を加速でき、高精度設定下で非スクリーニング手法と比較して最大6.5倍の高速化を達成する。

ABSTRACT

Leveraging on the convexity of the Lasso problem , screening rules help in accelerating solvers by discarding irrelevant variables, during the optimization process. However, because they provide better theoretical guarantees in identifying relevant variables, several non-convex regularizers for the Lasso have been proposed in the literature. This work is the first that introduces a screening rule strategy into a non-convex Lasso solver. The approach we propose is based on a iterative majorization-minimization (MM) strategy that includes a screening rule in the inner solver and a condition for propagating screened variables between iterations of MM. In addition to improve efficiency of solvers, we also provide guarantees that the inner solver is able to identify the zeros components of its critical point in finite time. Our experimental analysis illustrates the significant computational gain brought by the new screening rule compared to classical coordinate-descent or proximal gradient descent methods.

研究の動機と目的

• 非凸Lassoにおけるスクリーニングルールの欠如に取り組む。これは、凸Lassoでは既に確立されているが、非凸正則化では未解決の問題である。
• ℓ₀ノルムのスパarsityをよりよく近似するSCAD、MCP、Log Sumなどの非凸ペナルティと互換性のあるスクリーニング戦略を開発する。
• スクリーニングをMM最適化フレームワークに統合し、関係のない変数を安全かつ効率的に削除することを保証する。
• 内部ソルバーが臨界点のゼロ成分を有限時間内に特定することを理論的に保証する。
• スクリーニング伝播がソルバーの効率を顕著に向上させることを実験的に検証する。

提案手法

• SCAD、MCP、Log Sumなどの凹型で微分可能なペナルティ関数を用いて非凸Lasso問題を定式化し、ℓ₂損失とスパースティ誘導正則化を組み合わせる。
• MM原理を適用し、凸な代替関数を反復的に最小化することで、非凸問題を重み付きLassoの部分問題の系列に還元する。
• 各重み付きLassoの解法内で双対ギャップに基づくスクリーニングルールを採用し、有限時間内に非活性な変数を特定・除外する。
• 1つのMM反復から次の反復へとスクリーニングされた変数を伝播するルールを導入し、重複計算を削減する。
• 双対ギャップ許容誤差τに基づく停止基準を用い、スクリーニングは内側の反復ごと5回に1回、外側のMM反復ごと10回に1回実施する。
• Python/Numpyで実装し、座標降下法（ncvxCD）およびGISTと比較。収束チェックを一貫して行う。

実験結果

リサーチクエスチョン

• RQ1 非凸なスパース正則化子に対するスクリーニングルールは、非凸性にもかかわらず、効果的に拡張可能か？
• RQ2 MMフレームワーク内の重み付きLasso部分問題において、双対ギャップに基づくスクリーニングルールは、臨界点のすべてのゼロ成分を有限時間内に特定可能か？
• RQ3 MM反復間でスクリーニングされた変数を伝播させることで、収束速度に顕著な性能向上が得られるか？
• RQ4 ノイズレベルや精度要件が異なる状況下で、提案手法のスクリーニング戦略は、ncvxCD や GIST といった標準的な非凸ソルバーと比較してどの程度効率的か？
• RQ5 スクリーニング伝播は、合成データおよび実世界のデータセットの両方において、計算時間にどのような影響を与えるか？

主な発見

• 提案手法であるMM-screenは、10⁻⁸という高精度許容誤差下で、非スクリーニングのMM-genuineバージョンと比較して最大6.5倍の高速化を達成した。
• 低ノイズ（σ = 0.01）の合成問題では、スクリーニング伝播により一貫して1.8倍から4倍の高速化が得られ、高精度要件下ではピークで6.5倍に達した。
• 双対ギャップに基づくスクリーニングルールは、各重み付きLassoの解法内で、臨界点のすべてのゼロ成分を有限時間内に正しく特定できた。
• 白血病データセット（n=72, d=7129）では、高許容誤差下でncvxCDに対して3〜5倍、GISTに対して約4倍の高速化を達成した。
• スパースなニュースグループデータセット（n=961, d=21,319）では、スクリーニング伝播により1.3〜1.8倍の高速化が得られ、合成データの結果と一貫性を示した。
• すべての設定において、単純な非凸座標降下法と比較して、計算時間を約5倍短縮し、強固な効率性向上を示した。