[論文レビュー] A Second Order Method for Nonconvex Optimization

Santiago Paternain, Aryan Mokhtari+1 more|arXiv (Cornell University)|Jul 25, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用数 2

ひとこと要約

本稿では、ヘッセ行列の負の固有値をその絶対値に置き換えることでニュートン法を変更する2次最適化手法を提案し、非凸最適化における鞍点からの効率的な脱出を可能にする。最大 $1 + \log_{3/2}(\delta/2\varepsilon)$ 回の反復で鞍点脱出を保証し、確率 $1-p$ で $O(\log(1/p) + \log(1/\varepsilon))$ 回の反復で局所最小値に収束する。

ABSTRACT

Machine learning problems such as neural network training, tensor decomposition, and matrix factorization, require local minimization of a nonconvex function. This local minimization is challenged by the presence of saddle points, of which there can be many and from which descent methods may take inordinately large number of iterations to escape. This paper presents a second-order method that modifies the update of Newton's method by replacing the negative eigenvalues of the Hessian by their absolute values and uses a truncated version of the resulting matrix to account for the objective's curvature. The method is shown to escape saddles in at most $1 + \log_{3/2} (\delta/2\varepsilon)$ iterations where $\varepsilon$ is the target optimality and $\delta$ characterizes a point sufficiently far away from the saddle. This base of this exponential escape is $3/2$ independently of problem constants. Adding classical properties of Newton's method, the paper proves convergence to a local minimum with probability $1-p$ in $O\left(\log(1/p)) + O(\log(1/\varepsilon) ight)$ iterations.

研究の動機と目的

• ニューラルネットワーク学習や行列分解の問題における鞍点の影響により生じる収束遅延という課題に対処すること。
• ヘッセ行列の負の固有値を修正することで、鞍点からの脱出を改善するニュートン法の変種を開発すること。
• 少ない反復回数で局所最小値への収束を確率的に達成すること。
• 問題固有の定数に依存しない反復複雑度に関する理論的保証を提供すること。

提案手法

• ヘッセ行列の負の固有値をその絶対値に置き換えることで、鞍点付近でも下降方向を保証するニュートン更新の修正を行う。
• 曲率の近似として、修正されたヘッセ行列の打ち切り版を用い、精度と計算コストのバランスをとる。
• 固有値調整により正則化に類似した効果を実現し、鞍点領域からの迅速な脱出を可能にする。
• 標準的な仮定の下で収束性を分析し、反復回数が目標精度 $\varepsilon$ と失敗確率 $p$ の対数関数で有界であることを示す。
• ニュートン法の性質と鞍点脱出メカニズムを組み合わせ、局所最小値へのグローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 理論的収束保証のもとで、非凸最適化において効率的に鞍点を脱出できる2次手法を設計できるか？
• RQ2 修正されたニュートン型手法を用いて鞍点を脱出するために必要な最小反復回数は何か？
• RQ3 反復複雑度は、目標精度 $\varepsilon$ および失敗確率 $p$ に対してどのようにスケーリングされるか？
• RQ4 鞍点付近での高速収束を維持しつつ、高い確率で局所最小値に収束できるか？

主な発見

• 本手法は、鞍点からの初期距離を表す $\delta$ と目標最適性を表す $\varepsilon$ を用いて、最大 $1 + \log_{3/2}(\delta/2\varepsilon)$ 回の反復で鞍点を脱出する。
• 脱出レートの対数の底は $3/2$ であり、問題固有の定数に依存しないため、多様な非凸問題においても頑健な性能を発揮する。
• 確率 $1-p$ で $O(\log(1/p) + \log(1/\varepsilon))$ 回の反復で局所最小値に収束する。
• 本手法はニュートン法の高速な局所収束特性を維持しながら、鞍点付近でのその限界を克服する。
• 理論的分析により、修正されたヘッセ行列更新が十分な下降を保証し、鞍点での長期間の停滞を回避することが確認された。