[論文レビュー] Convergence of Cubic Regularization for Nonconvex Optimization under KL Property

Yi Zhou, Zhe Wang+1 more|arXiv (Cornell University)|Aug 22, 2018

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿は、非凸最適化における立方体正則化（CR）の漸近的収束速度を、Kurdyka-Łojasiewicz（KŁ）性質という広範な幾何的条件の下で確立する。これは、先行研究の仮定を一般化する。本稿は、CRが一次の勾配法よりも順序的に速い収束を達成することを示し、KŁパラメータθに応じて、部分線形から超線形までの収束レートを示す。

ABSTRACT

Cubic-regularized Newton's method (CR) is a popular algorithm that guarantees to produce a second-order stationary solution for solving nonconvex optimization problems. However, existing understandings of the convergence rate of CR are conditioned on special types of geometrical properties of the objective function. In this paper, we explore the asymptotic convergence rate of CR by exploiting the ubiquitous Kurdyka-Lojasiewicz (KL) property of nonconvex objective functions. In specific, we characterize the asymptotic convergence rate of various types of optimality measures for CR including function value gap, variable distance gap, gradient norm and least eigenvalue of the Hessian matrix. Our results fully characterize the diverse convergence behaviors of these optimality measures in the full parameter regime of the KL property. Moreover, we show that the obtained asymptotic convergence rates of CR are order-wise faster than those of first-order gradient descent algorithms under the KL property.

研究の動機と目的

• 非凸最適化における立方体正則化（CR）の収束挙動を、一般的な幾何的条件の下で理解すること。
• θでパラメータ化されるKurdyka-Łojasiewicz（KŁ）性質が、CRの収束速度に与える影響を特定すること。
• 同じKŁ条件下で、CRと一次勾配法との収束速度を比較すること。
• 勾配優位性や誤差境界といった特別なケースにとどまらず、KŁ正則関数の全範囲にわたる収束解析を拡張すること。
• 正確かつ不正確な両方のバージョンに適用可能な、KŁ性質を用いたCR収束の統一的枠組みを提供すること。

提案手法

• θ ∈ (0,1] でパラメータ化される、非凸関数の統一的幾何的条件としてのKurdyka-Łojasiewicz（KŁ）性質を活用する。
• θ = 1/2 のとき、先行研究の局所的誤差境界が特殊ケースとして含まれる一般化されたKŁ誤差境界を導出する。
• 第二階微分の停留点集合Ωへの点から集合への距離distΩ(xk)を評価することで、CRの収束を分析する。
• 関数値ギャップ、変数距離ギャップ、勾配ノルム、ヘッセ行列の最小固有値という複数の最適性測度の収束レートを確立する。
• KŁ誤差境界を用いて、θの値に応じたレート領域を導出し、有限、超線形、線形、または部分線形収束を示す。
• 安定性の議論を用いて、サブサンプリングスキームの下でも同様の収束レートが成り立つことを示し、不正確CRバージョンへの応用を実施する。

実験結果

リサーチクエスチョン

• RQ1 Kurdyka-Łojasiewicz（KŁ）性質は、非凸最適化における立方体正則化（CR）の収束速度にどのように影響するか？
• RQ2 KŁパラメータθの異なる値に対して、CRの収束挙動の全範囲はどのようなものか？
• RQ3 同じKŁ条件下で、CRの収束速度は一次勾配降下法と比べてどの程度速いか？
• RQ4 KŁ性質を用いて、勾配優位性や局所的誤差境界といったより強い仮定に基づく先行の収束結果を一般化できるか？
• RQ5 不正確なCRバージョンは、KŁ性質の下で確立された収束レートをどの程度継承するか？

主な発見

• CRの反復点が第二階微分の停留点集合への収束速度は、KŁパラメータθに強く依存する。θ = 1 のとき、有限収束が成立する。
• θ ∈ (1/3, 1) のとき、解集合への距離は超線形に減少し、十分大きなkに対して exp(−(2θ/(1−θ))^k) で上界が与えられる。
• θ = 1/3 のとき、収束は線形であり、distΩ(xk) ≤ Θ(exp(−(k−k₀))) が成り立ち、指数的減衰を示す。
• θ ∈ (0, 1/3) のとき、収束は部分線形であり、distΩ(xk) ≤ Θ((k−k₀)^{−2θ/(1−3θ}))) が成り立ち、多項式的減衰を示す。
• 同じKŁ性質の下で、CRの収束レートは一次勾配降下法よりも順序的に速く、特に超線形および有限収束の場合に顕著である。
• サブサンプリングを用いた不正確CRアルゴリズムに対しても、収束ダイナミクスがその近似に対して安定であるため、同様の収束レートが成立する。