[論文レビュー] Multi-stage Convex Relaxation for Feature Selection

Tong Zhang|arXiv (Cornell University)|Jun 3, 2011

Systemic Lupus Erythematosus Research参考文献 16被引用数 12

ひとこと要約

本稿では、Lassoのバイアスを克服するための特徴選択のためのマルチステージ凸緩和法を提案する。この手法は、逐次的なLassoに類似た最適化を繰り返し行うことで解を段階的に改善する。制限等長性性質（RIP）の条件下では、標準Lassoが示す非最適なバイアスを回避し、真の非ゼロ係数のサポート集合を正確に回復することができ、たった O(log k̄) 回の反復で正確な特徴選択を達成する。

ABSTRACT

A number of recent work studied the effectiveness of feature selection using Lasso. It is known that under the restricted isometry properties (RIP), Lasso does not generally lead to the exact recovery of the set of nonzero coefficients, due to the looseness of convex relaxation. This paper considers the feature selection property of nonconvex regularization, where the solution is given by a multi-stage convex relaxation scheme. Under appropriate conditions, we show that the local solution obtained by this procedure recovers the set of nonzero coefficients without suffering from the bias of Lasso relaxation, which complements parameter estimation results of this procedure.

研究の動機と目的

• Lassoに基づく特徴選択におけるバイアスを解消すること。これは、RIP条件下で、非凸なL0正則化の緩和が不十分であるため、真のサポート集合を正確に回復できないことによる。
• 凸緩和を繰り返し用いることで解を段階的に改善する、計算的に効率的な手順を開発すること。
• 既存のパrameter推定結果を補完し、マルチステージ法が正確な特徴選択を可能にすることを示すこと。
• 非表現可能条件が満たされないがRIPが成り立つ状況において、従来の後処理Lassoや適応Lassoよりも性能が優れていることを実証すること。

提案手法

• 各段階で正則化パラメータを小さくするLassoタイプの最適化を繰り返すマルチステージ反復アルゴリズムを用いる。
• 各段階 ℓ において、調整パラメータ λ(ℓ) を段階的に減少させながら、正則化された最小二乗誤差を最小化する解 ŵ(ℓ) を計算する。
• パラメータ θ に基づくしきい値ルールを用いて、各段階で有望な特徴を特定・保持する。
• 非凸なL0正則化問題を次第にタイトに近づける、段階的な凸緩和の系列に依存する。
• 理論的分析では、スパース固有値条件（RIP）と残差ノルムの境界を用いて、各段階間での誤差伝搬を制御する。
• 推定されたサポート集合が安定するまで反復を継続し、適切な条件下で真のサポートに収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 制限等長性性質（RIP）の下で、標準Lassoが失敗する状況においても、マルチステージ凸緩和手順が真の特徴サポート集合を正確に回復できるか？
• RQ2 反復的改善プロセスは、L0正則化の凸緩和に内在するLassoのバイアスを解消できるか？
• RQ3 マルチステージ法が正しいサポート集合に収束するまでに必要な反復回数はどれくらいで、その数は有効に上限付けられるか？
• RQ4 サポート集合回復の正確性と計算効率の観点から、本手法は後処理Lassoや適応Lassoと比較してどのように異なるか？
• RQ5 どのような条件下で、本手法は既存の非凸正則化手法を上回る性能を示すか？

主な発見

• RIP条件下では、マルチステージ凸緩和法が非ゼロ係数の真のサポート集合を正確に回復し、バイアスのない特徴選択を達成する。
• 収束に要する反復回数は O(log k̄) で有界であり、計算効率が保証される。ここで k̄ は真のスパarsityレベルを表す。
• 後処理Lassoに見られる √k̄ 要因のバイアスを回避し、非ゼロ係数がノイズより √k̄ 倍以上大きくなければ回復できないという制約を回避する。
• 理論的分析により、推定係数ベクトルの誤差は各段階で幾何的に減少し、√|F(ℓ)| が β^ℓ√k̄ として β < 1 の速度で減少することが示された。
• この手続きは有限回の反復で真のサポートに収束し、ℓ > L に対して ‖ŵ(ℓ) − w̃‖₂ = 0 が成り立つため、サポート集合の正確な回復が保証される。
• 本手法は理論的にも効率的であり、後者の収束保証の面でパスフォローリング手法を上回る。後者については、その計算的効率性が未だ未解決のままである。