[論文レビュー] Mind the duality gap: safer rules for the Lasso

Olivier Fercoq, Alexandre Gramfort+1 more|arXiv (Cornell University)|May 13, 2015

Statistical Methods and Inference参考文献 27被引用数 61

ひとこと要約

本稿では、lassoに対するGAP SAFEルールを導入し、双対ギャップの計算を活用して、収縮する安全領域を形成する動的かつ逐次的な安全スクリーニングルールの新しいクラスを提案する。この手法は、有限時間内にアクティブ集合を特定することを保証し、特に高精度および高次元設定下で、先行手法よりも最大11倍の高速化を達成する。

ABSTRACT

Screening rules allow to early discard irrelevant variables from the optimization in Lasso problems, or its derivatives, making solvers faster. In this paper, we propose new versions of the so-called $ extit{safe rules}$ for the Lasso. Based on duality gap considerations, our new rules create safe test regions whose diameters converge to zero, provided that one relies on a converging solver. This property helps screening out more variables, for a wider range of regularization parameter values. In addition to faster convergence, we prove that we correctly identify the active sets (supports) of the solutions in finite time. While our proposed strategy can cope with any solver, its performance is demonstrated using a coordinate descent algorithm particularly adapted to machine learning use cases. Significant computing time reductions are obtained with respect to previous safe rules.

研究の動機と目的

• 高次元問題における計算効率を向上させるために、より安全で効果的なlasso用スクリーニングルールの開発を目的とする。
• 静的および逐次的安全ルールの限界を克服するため、安全領域が時間経過とともに収縮するフレームワークを導入することを目的とする。
• スクリーニング領域の収束によって、lasso解のアクティブ集合（サポート）の有限時間内特定を保証することを目的とする。
• 双対ギャップに基づく動的更新を用いて、既存の安全スクリーニング戦略を統合・改善することを目的とする。
• 座標降下ソルバーを用いて、多様なデータセットにおいて顕著な計算的利得を示すことを目的とする。

提案手法

• 双対ギャップの計算に基づくGAP SAFEルールを提案し、最適化が収束するに従い直径がゼロに収束する安全領域を定義する。
• 安全領域の直径がゼロに収束する「収束する安全ルール」の概念を導入し、有限時間内にアクティブ集合を特定可能とする。
• 双対ギャップの推定値を用いて最適化中におけるスクリーニング領域を動的に更新し、リアルタイムでの変数削除を可能にする。
• 逐次的および動的スクリーニングの両方の枠組みに適用し、既存のアプローチを統一的な理論的基盤の下に統合する。
• 座標降下法をベースソルバーとして採用し、高次元機械学習応用におけるその効率性を活用する。
• 双対妥当性および双対ギャップの境界に基づく安全スクリーニングテストを導出し、変数削除において誤って除外するリスク（偽陰性）を排除する。

実験結果

リサーチクエスチョン

• RQ1 双対ギャップの計算を用いて、安全領域の直径がゼロに収束するスクリーニングルールを構築可能か？ これにより、アクティブ集合の有限時間内特定が保証されるか？
• RQ2 双対ギャップに基づく動的スクリーニングは、静的および逐次的安全ルールと比較して、変数スクリーニングの効率性および計算速度においてどのように異なるか？
• RQ3 提案されたGAP SAFEルールは、特に高次元およびスパースな設定下で、多様なデータセットにおいて顕著な計算的利得を達成可能か？
• RQ4 安全領域の直径の収縮が、lasso解の精度および収束性に与える影響は何か？
• RQ5 問題サイズの増大および必要な解の精度の向上に伴い、GAP SAFEルールの性能はどのようにスケーリングするか？

主な発見

• 双対ギャップ許容誤差10^-8の条件下で、Leukemiaデータセットにおいて、競合手法よりも最大11倍の高速化を達成した。
• 特に正則化パrameter λ が小さい場合に顕著に、先行する安全ルールよりも多くの変数をスクリーニングした。
• 安全領域の直径が収束に従いゼロに収束するため、有限時間内にアクティブ集合が保証される。
• RCV1データセット（n=20242, p=47236）においても、GAP SAFEルールは顕著な計算的利得を示し、p/n比の増大に伴い性能が有利にスケーリングした。
• GAP SAFEルールの動的特性により、時間経過に従いスクリーニング効率が向上するが、静的または非動的逐次ルールとは対照的である。
• 初期段階ではスクリーニングが効果的でない非常に小さなλ値に対しても、反復回数Kの増加に従いGAP SAFEルールはますます有効になる。