[論文レビュー] Regularized M-estimators with nonconvexity: Statistical and algorithmic theory for local optima

Po‐Ling Loh, Martin J. Wainwright|arXiv (Cornell University)|May 10, 2013

Sparse and Compressive Sensing Techniques参考文献 17被引用数 185

ひとこと要約

本稿では、制限強凸性および正則性条件の下で、非凸損失関数と非凸ペナルティ関数を用いた正則化M推定量のすべての局所最適解が、真のパラメーターベクトルの統計的精度内に存在することを確立している。また、コンposite勾配降下法などの標準的一階法が、対数的ステップ数でこれらの良好に振る舞う局所最適解に収束することを証明しており、特化したグローバル最適化アルゴリズムの必要性を排除している。

ABSTRACT

We provide novel theoretical results regarding local optima of regularized $M$-estimators, allowing for nonconvexity in both loss and penalty functions. Under restricted strong convexity on the loss and suitable regularity conditions on the penalty, we prove that \emph{any stationary point} of the composite objective function will lie within statistical precision of the underlying parameter vector. Our theory covers many nonconvex objective functions of interest, including the corrected Lasso for errors-in-variables linear models; regression for generalized linear models with nonconvex penalties such as SCAD, MCP, and capped-$\ell_1$; and high-dimensional graphical model estimation. We quantify statistical accuracy by providing bounds on the $\ell_1$-, $\ell_2$-, and prediction error between stationary points and the population-level optimum. We also propose a simple modification of composite gradient descent that may be used to obtain a near-global optimum within statistical precision $ε$ in $\log(1/ε)$ steps, which is the fastest possible rate of any first-order method. We provide simulation studies illustrating the sharpness of our theoretical results.

研究の動機と目的

• 高次元非凸M推定量における統計理論と実務のギャップを埋める。ここではグローバル最適解の計算がしばしば非現実的である。
• やや厳しい正則性条件のもとで、非凸正則化M推定量の局所最適解がグローバル最適解と統計的に同等に良いことを確立する。
• 標準的一階最適化法がグローバル最適化を要せず、統計的に最適な解に収束することを理論的に保証する。
• 高次元統計モデルにおける非凸ペナルティ関数（SCAD、MCP、capped-ℓ₁など）の先行研究を統合・拡張する。
• 非凸な目的関数に対しても、合成目的関数の停留点が母集団パラメータから統計的誤差内にあることを示す。

提案手法

• 非凸損失関数と非凸ペナルティ関数を有する正則化M推定量の局所最適解を分析する一般枠組みを導入する。
• 損失関数における制限強凸性とペナルティ関数の正則性条件を用いて、任意の停留点と真のパラメータとの距離をバウンドする。
• 非凸ペナルティ関数の凸上界を用いて、一階最適性条件と誤差バウンドを導出する。
• 補正Lasso、SCAD/MCP/capped-ℓ₁ペナルティを伴う一般化線形モデル、および高次元グラフィカルモデルといった具体的なモデルに理論を適用する。
• 真のパラメータからε_statの統計的精度内に収束するように、修正されたコンポジット勾配降下法を提案し、O(log(1/ε_stat))ステップで収束することを示す。
• 分解可能性と劣勾配不等式を活用して、ℓ₁、ℓ₂、および予測誤差のバウンドを停留点と真のパラメーターベクトルとの間で導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸正則化M推定量のすべての局所最適解が、真のパラメータから統計的誤差内にあるのはどのような条件下か？
• RQ2 損失関数が非凸であっても、コンポジット勾配降下法などの標準的一階最適化法が、統計的に最適な解に収束できるか？
• RQ3 SCAD、MCP、capped-ℓ₁のような非凸ペナルティ関数は、停留点の統計的誤差および最適化誤差にどのように影響を与えるか？
• RQ4 非凸M推定量の任意の停留点が、統計的観点からグローバル最適解と同等に良いと保証することは可能か？
• RQ5 一階法にどのような修正を加えることで、最も速いレートで統計的精度内に収束する解に到達できるか？

主な発見

• 制限強凸性および正則性条件のもとで、正則化M推定量の任意の停留点は、ℓ₂、ℓ₁、および予測誤差バウンドにおいて統計的精度ε_statに比例する。
• 修正されたコンポジット勾配降下法は、O(log(1/ε_stat))回の反復で真のパラメータからε_statの精度内に収束し、一階法における最速の収束レートを達成する。
• パrameter cを有するcapped-ℓ₁ペナルティに対して、理論はμ₂ = 1/cを満たす正則化が所定の条件を満たすことを示しており、良好に振る舞う局所最適解を保証する。
• 本結果は、補正Lassoに関する先行研究を包含し、一般化線形モデルに非凸ペナルティを拡張することで、局所最適解が統計的に一貫的であることを示している。
• 解析により、局所最適解が計算的に容易に到達可能であるだけでなく、統計的にも最適であることが確認され、高次元統計における理論と実務の主要なギャップが解消された。
• 本稿は、標準的一階法が特定の局所最小値を標的にする専用アルゴリズムを要せず、統計的精度に到達できることを確立した。