[論文レビュー] Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization

Frank E. Curtis, Daniel P. Robinson+2 more|arXiv (Cornell University)|Dec 9, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用数 30

ひとこと要約

この論文は、非凸最適化のための修正された信頼領域ニュートン-CG法を提案し、最良の既知の反復回数および計算量の複雑さの上限に一致する、最先端の2次精度の複雑さの保証を達成すると同時に、標準の信頼領域ニュートン-CGの実用的効率を維持している。主な革新点は、許容誤差に最適な依存関係を保証するためのわずかなアルゴリズム的変更であり、大規模なベンチマークでの性能を低下させることなく、$(\epsilon_g, \epsilon_H)$-停留点への収束を実現している。

ABSTRACT

Worst-case complexity guarantees for nonconvex optimization algorithms have been a topic of growing interest. Multiple frameworks that achieve the best known complexity bounds among a broad class of first- and second-order strategies have been proposed. These methods have often been designed primarily with complexity guarantees in mind and, as a result, represent a departure from the algorithms that have proved to be the most effective in practice. In this paper, we consider trust-region Newton methods, one of the most popular classes of algorithms for solving nonconvex optimization problems. By introducing slight modifications to the original scheme, we obtain two methods -- one based on exact subproblem solves and one exploiting inexact subproblem solves as in the popular "trust-region Newton-Conjugate-Gradient" (trust-region Newton-CG) method -- with iteration and operation complexity bounds that match the best known bounds for the aforementioned class of first- and second-order methods. The resulting trust-region Newton-CG method also retains the attractive practical behavior of classical trust-region Newton-CG, which we demonstrate with numerical comparisons on a standard benchmark test set.

研究の動機と目的

• 理論的に最適な非凸最適化アルゴリズムと、複雑さの保証が乏しいが実用的な手法（信頼領域ニュートン-CG）の間のギャップを埋めること。
• $(\epsilon_g, \epsilon_H)$-停留点を求める際の最良の既知の最悪ケースの反復回数および計算量の複雑さの上限に一致する、信頼領域ニュートン-CGの変種を開発すること。
• 理論的改善が、特に反復回数、関数評価回数、ヘシアン・ベクトル積の回数において実用的性能を損なわないように保証すること。
• 正確なおよび不正確な部分問題の解法を分析し、特に共役勾配法による不正確な解法に焦点を当て、強い複雑さの保証のもとで行うこと。
• 信頼領域ニュートン-CGにわずかな修正を加えることで、最適な複雑さを達成しつつ、標準的なテストセットにおける収束行動を損なわないことを示すこと。

提案手法

• 部分問題を正確に解く信頼領域ニュートン法を導入し、ヘシアンの固有値を正確に計算することで2次最適性条件を検証する。
• ヘシアンが不定である場合でも十分な減少を保証できるように、部分問題に正則化項を追加することで、収束解析を可能にする。
• 共役勾配（CG）法を用いて正則化された部分問題を不正確に解き、CG反復回数に明確な上限を設けることで、計算量の複雑さを制御する。
• アルゴリズム3による終了チェックを導入し、反復点におけるヘシアンの最小固有値を計算することで2次停留性を検証する。
• 勾配評価回数およびヘシアン・ベクトル積の回数を用いて計算量の複雑さを定義し、文献で得られている最良の結果に一致する上限を導出する。
• 外側反復ごとのCG反復回数に上限を設けることで、タイトな計算量の複雑さの上限を保証するとともに、$(\epsilon_g, \epsilon_H)$-停留点への収束を維持する。

実験結果

リサーチクエスチョン

• RQ1 信頼領域ニュートン-CG法をどのように修正すれば、実用的性能を損なわず、最良の既知の2次精度の複雑さの保証を達成できるか？
• RQ2 反復回数および計算量の複雑さを最適化するために、部分問題の解法および信頼領域更新戦略にどのような変更が必要か？
• RQ3 部分問題に正則化項を追加することで、理論的複雑さおよび実用的収束行動にどのような影響があるか？
• RQ4 理論的複雑さの上限が、大規模な非凸問題における実効的性能とどの程度一致するか？
• RQ5 不正確なCG解法を信頼領域フレームワークで効果的に使用できるか。また、2次停留性のための最適な計算量の複雑さを維持できるか？

主な発見

• 提案された信頼領域ニュートン-CG法は、$\tilde{\mathcal{O}}(\epsilon_g^{-7/4})$ の計算量の複雑さの上限を達成し、$\epsilon_H = \epsilon_g^{1/2}$ の場合に、2次手法における最良の既知の結果に一致する。
• 標準の信頼領域ニュートン-CGと比較して、反復回数および勾配評価回数にほとんど差がなく、実用的性能の低下が最小限であることが示された。
• 正則化されたバージョンではヘシアン・ベクトル積の回数が顕著に減少しており、特に勾配評価に比べてヘシアン・ベクトル積が高コストである場合には顕著な利点がある。
• $n \geq 100$ の109の問題からなるベンチマークセットにおいて、すべてのアルゴリズムが両方の許容誤差設定で少なくとも101の問題を正しく解いたことから、高い信頼性が示された。
• ヘシアン・ベクトル積の大部分がアルゴリズム2で計算されており、アルゴリズム3は3つの問題を除き最終反復でのみ起動されたことから、効率的な終了チェックが実現されている。
• 性能プロファイルから、正則化されたバージョンは非正則化バージョンよりもヘシアン・ベクトル積の回数が少ないことが示され、ヘシアン・ベクトル積が高コストな状況では実用的利点があると考えられる。