[論文レビュー] On the Quadratic Convergence of the Cubic Regularization Method under a Local Error Bound Condition

Man–Chung Yue, Zirui Zhou+1 more|arXiv (Cornell University)|Jan 29, 2018

Sparse and Compressive Sensing Techniques参考文献 22被引用数 3

ひとこと要約

本稿は、古典的な非退化条件よりも弱い局所誤差バインディング（EB）条件の下で、立方体正則化（CR）法のQ-2次収束を確立している。著者らは、EB条件を用いることで、退化・非孤立最小値の設定においても、CR法が2次勾配臨界点に2次収束することを証明しており、さらにそのEB条件が凸性仮定なしに2次成長条件と同値であることを示している。

ABSTRACT

In this paper we consider the cubic regularization (CR) method for minimizing a twice continuously differentiable function. While the CR method is widely recognized as a globally convergent variant of Newton's method with superior iteration complexity, existing results on its local quadratic convergence require a stringent non-degeneracy condition. We prove that under a local error bound (EB) condition, which is much weaker a requirement than the existing non-degeneracy condition, the sequence of iterates generated by the CR method converges at least Q-quadratically to a second-order critical point. This indicates that adding a cubic regularization not only equips Newton's method with remarkable global convergence properties but also enables it to converge quadratically even in the presence of degenerate solutions. As a byproduct, we show that without assuming convexity, the proposed EB condition is equivalent to a quadratic growth condition, which could be of independent interest. To demonstrate the usefulness and relevance of our convergence analysis, we focus on two concrete nonconvex optimization problems that arise in phase retrieval and low-rank matrix recovery, respectively, and prove that with overwhelming probability, the sequence of iterates generated by the CR method for solving these two problems converges at least Q-quadratically to a global minimizer. We also present numerical results of the CR method when applied to solve these two problems to support and complement our theoretical development.

研究の動機と目的

• 標準的な非退化仮定よりも弱い条件の下で、立方体正則化（CR）法の局所的2次収束を確立すること。
• 位相再構成や低ランク行列回復のような非凸問題に共通する非孤立最小値が存在する状況において、CR法の収束挙動を分析すること。
• 提案された局所誤差バインディング（EB）条件が凸性を仮定せず、非凸設定でも2次成長条件と同値であることを示すこと。この結果は独立に興味深いものである。
• 位相再構成および低ランク行列回復問題における数値実験を通じて、理論的結果の妥当性を検証すること。
• 2つの具体的な非凸最適化問題において、ほぼ確実にCR法がグローバル最小値にQ-2次収束することを示すこと。

提案手法

• 著者らは、2次勾配臨界点の近傍における目的関数の局所的幾何構造を特徴付ける局所誤差バインディング（EB）条件を導入する。
• このEB条件の下で、CR法が生成する反復列が、少なくともQ-2次収束して2次勾配臨界点に収束することを証明する。
• 解析は、CR反復列の任意の集積点が2次勾配臨界点であるという、この手法の重要な構造的性質に依拠している。
• 提案されたEB条件と非凸設定における2次成長条件との同値性を確立し、凸性を仮定しない。
• 標準的な確率的モデル仮定の下で、EB条件がほぼ確実に成り立つことを示すことにより、理論を位相再構成および低ランク行列回復という2つの非凸問題に適用する。
• 数値実験では、適応的正則化を用いたアルゴリズム1（CR法）を用い、相対誤差（RE）をモニタリングし、RE < 10⁻⁸ に達した段階で終了をトリガーする。

実験結果

リサーチクエスチョン

• RQ1 立方体正則化法は、標準的な非退化仮定よりも弱い条件下でQ-2次収束を達成できるか？
• RQ2 非凸最適化において、凸性を仮定せず、局所誤差バインディング（EB）条件が2次成長条件と同値であるか？
• RQ3 典型的な確率的モデル仮定の下で、位相再構成や低ランク行列回復といった非凸問題において、CR法はグローバル最小値に2次収束するか？
• RQ4 これらの非凸問題において、CR法の収束挙動は実際にはどのように現れ、理論的予測と整合性を示すか？
• RQ5 ヘッセ行列が退化しているか、最小値が非孤立な場合でも、CR法は高速な局所収束を維持できるか？

主な発見

• CR法は、非退化条件よりも厳密に弱い局所誤差バインディング（EB）条件の下で、少なくともQ-2次収束して2次勾配臨界点に収束する。
• 非凸設定において、EB条件は2次成長条件と同値であり、この結果は凸性を仮定せず成立する。
• 位相再構成において、ほぼ確実にCR法が生成する反復列はグローバル最小値にQ-2次収束する。
• 低ランク行列回復においても、同じ確率的モデルのもとで、CR法はほぼ確実にグローバル最小値にQ-2次収束する。
• 数値結果は理論的収束速度を確認しており、相対誤差（RE）が最終段階で超線形に減少しており、少なくとも2次収束であることを示している。
• 解に到達するまでの時間は問題サイズに応じて合理的に増加し、位相再構成ではn=64で4.7秒、n=128で12.3秒、n=256で129.6秒、n=512で577.6秒を記録した。低ランク回復問題では、より大きな問題では最大5017.6秒を要した。