[論文レビュー] Support recovery without incoherence: A case for nonconvex regularization

Po‐Ling Loh, Martin J. Wainwright|arXiv (Cornell University)|Dec 17, 2014

Anesthesia and Sedative Agents被引用数 4

ひとこと要約

本稿は、通常の $β_1$-ベースの手法が要請する非一貫性条件が不要な状況ですら、非凸正則化を用いたスパース回帰におけるサポート回復および $∞ll_{\infty}$-誤差バウンドを確立する。一般化勾配と制限付き強い凸性を用いて、非凸設定へのプライマル・デュアル・ワーニング法の拡張により、著者らは、SCAD や MCP などの特定の非凸正則化子が、緩い仮定のもとで一貫した変数選択を達成することを証明する。

ABSTRACT

We demonstrate that the primal-dual witness proof method may be used to establish variable selection consistency and $\\ell_\\infty$-bounds for sparse regression problems, even when the loss function and/or regularizer are nonconvex. Using this method, we derive two theorems concerning support recovery and $\\ell_\\infty$-guarantees for the regression estimator in a general setting. Our results provide rigorous theoretical justification for the use of nonconvex regularization: For certain nonconvex regularizers with vanishing derivative away from the origin, support recovery consistency may be guaranteed without requiring the typical incoherence conditions present in $\\ell_1$-based methods. We then derive several corollaries that illustrate the wide applicability of our method to analyzing composite objective functions involving losses such as least squares, nonconvex modified least squares for errors-in variables linear regression, the negative log likelihood for generalized linear models, and the graphical Lasso. We conclude with empirical studies to corroborate our theoretical predictions.

研究の動機と目的

• 非凸正則化手法における変数選択の一貫性に関する理論的保証の欠如、特に非一貫性条件が成立しない場合の問題に対処すること。
• 従来凸問題に限られていたプライマル・デュアル・ワーニング証明技法を、非凸損失関数および非凸正則化子を有する非凸最適化問題のクラスに拡張すること。
• 非凸正則化推定量の定常点が回帰ベクトルの真のサポートを回復するための十分条件を確立すること。
• SCAD や MCP などの非凸正則化子が、$β_1$-正則化に一般的に見られる制限的な非一貫性仮定を必要としないでサポート回復を達成できることを示すこと。
• 最小二乗法、誤差付き変数モデル、一般化線形モデル、グラフィカル・ラッソを含む、合成目的関数に一般に適用可能な枠組みを提供すること。

提案手法

• 非凸設定へのプライマル・デュアル・ワーニング法の適用を、非滑らか解析からの一般化勾配を用いて行う。
• ノルム正則化、滑らかだが非凸な関数に対する最適化理論的結果を用い、安定性および一貫性条件を導出する。
• 真のパrameterの周囲での局所的曲率制御を保証するため、損失関数に対する制限付き強い凸性条件を導入する。
• 部分微分可能計算を用いた一般化された KKT 型の議論により、定常性およびサポート一貫性を分析する。
• クーロネッカー積および行列ノルムの摂動に関する行列論的補題を用い、ヘッシアン近似の挙動を制御する。
• 2次テイラー展開および曲率バウンドを活用して背理法により、反復列が局所的最小値に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 プライマル・デュアル・ワーニング法は、非凸正則化回帰問題に拡張可能であり、サポート回復を保証できるか？
• RQ2 SCAD や MCP などの非凸正則化子が、非一貫性仮定を要件としないで変数選択の一貫性を達成できる条件は何か？
• RQ3 類似した条件下で、非凸推定量の $∞ll_{\infty}$-誤差バウンドは、$β_1$-正則化手法のそれらと比べてどうなるか？
• RQ4 損失関数の制限付き強い凸性が、定常点の一貫性を保証するために果たす役割は何か？
• RQ5 この理論的枠組みは、一般化線形モデルやグラフィカル・ラッソなどの合成目的関数に適用可能か？

主な発見

• 一般化勾配を用いることで、非凸問題へのプライマル・デュアル・ワーニング法の拡張が可能となり、損失関数や正則化子の凸性を要件としないサポート回復の保証が得られる。
• 原点から離れる際に導関数が消える非凸正則化子（例：SCAD、MCP）に対しては、非一貫性条件が不要な状況でもサポート回復が可能である。
• 類似した仮定のもとで、$∞ll_{\infty}$-誤差バウンドが既知の $β_1$-ベースの結果と定数倍の違いを除いて一致することが示された。
• 理論的分析により、非凸正則化問題の定常点が、緩い信号強度および曲率条件のもとで統計的に一貫的かつサポート回復の一貫的であることが確認された。
• 実験的検証は理論的予測を裏付け、変数選択において有限標本サイズ下で $β_1$-正則化より優れた性能を示した。
• この枠組みは、最小二乗法、非凸修正最小二乗法、一般化線形モデルの負の対数尤度、グラフィカル・ラッソを含む、広範な合成目的関数に適用可能である。