[論文レビュー] A Note on Inexact Condition for Cubic Regularized Newton's Method

Zhe Wang, Yi Zhou+2 more|arXiv (Cornell University)|Aug 22, 2018

Sparse and Compressive Sensing Techniques参考文献 6被引用数 5

ひとこと要約

本稿は、将来の反復点に依存しない現在の反復点情報のみに依存する実用的な不正確性条件の下で、不正確な立方体正則化ニュートン法の理論的収束保証を初めて確立した。不正確な方法が正確な方法と同等のオーダーレベルの収束速度を達成することを示し、各反復における減少量ではなく、すべての反復にわたる総体的な十分な減少量の分析という新しいグローバルな分析手法を用いた。

ABSTRACT

This note considers the inexact cubic-regularized Newton's method (CR), which has been shown in \cite{Cartis2011a} to achieve the same order-level convergence rate to a secondary stationary point as the exact CR \citep{Nesterov2006}. However, the inexactness condition in \cite{Cartis2011a} is not implementable due to its dependence on future iterates variable. This note fixes such an issue by proving the same convergence rate for nonconvex optimization under an inexact adaptive condition that depends on only the current iterate. Our proof controls the sufficient decrease of the function value over the total iterations rather than each iteration as used in the previous studies, which can be of independent interest in other contexts.

研究の動機と目的

• 先行研究における不正確性条件が将来の反復点に依存するため実装不可能であるという問題を解決すること。
• 現在の反復点情報のみに依存する実用的な不正確性条件の下で、不正確な立方体正則化に対する理論的収束を確立すること。
• 不正確な方法が正確な方法と同等の収束速度で第二階級の停留点に収束することを示すこと。
• 各反復における減少量ではなく、すべての反復にわたる総体的関数値の減少を制御する、新しい解析的手法を導入すること。

提案手法

• 現在の反復点にのみ依存する新しいヘッセ行列の不正確性条件を提案：\|H_k - \nabla^2 f(x_k)\| \leq C \|s_k\|。
• 勾配に対しても同様の不正確性条件を導入：\|g_k - \nabla f(x_k)\| \leq \alpha \|s_k\|。
• 各ステップでの減少を要請しないで、すべての反復にわたる目的関数の総体的十分減少を追跡するグローバル解析フレームワークを用いる。
• Weylの不等式とヘッセ行列のリプシッツ連続性を用いて、ヘッセ行列近似の最小固有値をバインドする。
• 反復回数にわたる\|s_i\|^3の和のバインドを導出し、収束速度解析を可能にする。
• \|\nabla f(x)\|と\nabla^2 f(x)の最小固有値が、正確な方法と同等の速度で0に収束することを示すことにより、第二階級の停留点への収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 現在の反復点情報にのみ依存する実用的な不正確性条件の下で、不正確な立方体正則化ニュートン法が理論的に収束することが保証されるか？
• RQ2 このような条件下で、不正確な方法が正確な方法と同等の収束速度で第二階級の停留点に収束するか？
• RQ3 すべての反復にわたる総体的十分減少解析が、不正確な方法の収束証明において、標準的な各反復ごとの減少量の議論を置き換えることができるか？
• RQ4 提案された不正確性条件は、将来の反復点や固定定数に依存する先行条件と比べてどのように異なるか？

主な発見

• 現在の反復点に依存する不正確性条件\|H_k - \nabla^2 f(x_k)\| \leq C \|s_k\|を用いた不正確な立方体正則化ニュートン法は、正確な方法と同等のオーダーレベルの収束速度で第二階級の停留点に収束する。
• 収束速度は、各反復での減少を要請するのではなく、すべての反復にわたる目的関数の総体的十分減少を制御するという、新しい解析によって確立された。
• この方法は、ステップサイズのノルムに関してO(1/k^{1/3})の速度で\|\nabla f(x)\| \to 0および\nabla^2 f(x)の最小固有値\to 0を保証する。
• 解析により、あるmに対して\|\nabla f(x_{m+1})\| \leq O(1/(k-1)^{2/3})および\nabla^2 f(x_{m+1})の最小固有値\geq -O(1/(k-1)^{1/3})であることが示され、正確な方法と同等の収束オーダーが確認された。
• 提案された条件は、固定ε条件よりも適応的であり、\|s_k\|に比例してスケーリングされ、最適化の初期段階でより大きなステップを許容する。
• 証明技法自体が独立した価値を持つ。過去の反復からの誤差をグローバルバインドに組み込むことで、緩い不正確性条件の下でも収束解析を可能にする。