[論文レビュー] Complexity Analysis of the Lasso Regularization Path

Julien Mairal, Bin Yu|arXiv (Cornell University)|May 1, 2012

Markov Chains and Monte Carlo Methods参考文献 11被引用数 60

ひとこと要約

この論文は、lasso正則化パスの最悪ケース計算量が変数の数に対して指数的であることを確立している。一方で、相対的ε双対ギャップまで最適な解が得られるO(1/√ε)セグメントを持つ近似ホモトピー法を提案しており、理論的保証と計算効率の両立を図っている。この手法は、高次元設定における正確なパス追跡の代替手段として強固である。

ABSTRACT

The regularization path of the Lasso can be shown to be piecewise linear, making it possible to "follow" and explicitly compute the entire path. We analyze in this paper this popular strategy, and prove that its worst case complexity is exponential in the number of variables. We then oppose this pessimistic result to an (optimistic) approximate analysis: We show that an approximate path with at most O(1/sqrt(epsilon)) linear segments can always be obtained, where every point on the path is guaranteed to be optimal up to a relative epsilon-duality gap. We complete our theoretical analysis with a practical algorithm to compute these approximate paths.

研究の動機と目的

• Lasso正則化パスの最悪ケース計算量を形式的に確立すること。
• 実際の観察で線形スケーリングが見られるのと対照的に、Lassoパスの計算量に関する理論的理解のギャップを埋めること。
• 強い最適性保証を持つ近似正則化パスを計算する実用的なアルゴリズムを開発すること。
• 近似パスが正確なパスと比較して著しく計算量を削減できることを示すこと、特に病理的ケースにおいて。

提案手法

• 変数数p+1の病理的Lassoインスタンスを構築し、パスの複雑さを乗法的要因で増加させることで、最悪ケース複雑度が(3^p + 1)/2であることを証明する。
• 相対的ε双対ギャップ基準を用いて、パスに沿って近似最適性条件を維持する近似ホモトピー法を導入する。
• 相対的ε双対ギャップに基づくステップサイズ戦略を採用し、各計算点がε最適であることを保証する。
• 座標降下法を内部ソルバーとして用い、双対ギャップ定義に基づく停止基準を設定する。
• 各ステップで双対ギャップが十分に減少するように、バックトラッキングラインサーチを適用する。
• 正確なkink検出を回避し、ε最適性に焦点を当てたパスフォローリング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 変数の数を関数として、Lasso正則化パスにおける線形セグメントの最悪ケース数は何か？
• RQ2 正確なパスと比較して、著しく少ないセグメント数で、最適性保証を満たす近似正則化パスを計算可能か？
• RQ3 近似パスの複雑さは、所望の精度εに対してどのようにスケーリングされるか？
• RQ4 数値的に不安定な状態や密に近いkinkに強い、実用的なアルゴリズムを設計可能か？

主な発見

• Lasso正則化パスにおける最悪ケースの線形セグメント数は、変数数pに対して正確に(3^p + 1)/2である。
• 提案された近似ホモトピー法は、最大O(1/√ε)セグメントのパスを計算し、各セグメントが相対的双対ギャップの観点でε最適であることが保証される。
• ε = 10^−3の場合、病理的例（PATHOL）において、近似パスの複雑さは全パス複雑さの0.5%未満にまで低下しており、顕著な削減が確認された。
• 実世界のデータセット（MADELON, PCMAC）でも、近似パスの複雑さは問題サイズにほぼ比例し、εが増加するにつれて著しく削減される。
• このアルゴリズムは、病的条件や密に近いkinkに対してもロバストであり、数値的に不安定な領域では正確なホモトピー法を上回る性能を示した。
• 数値実験により、近似パス上に抽出された解の双対ギャップがすべてεの範囲内に収まっていることが確認され、理論的保証の妥当性が裏付けられた。