[論文レビュー] A Generic Approach for Escaping Saddle points

Sashank J. Reddi, Manzil Zaheer+5 more|arXiv (Cornell University)|Sep 5, 2017

Stochastic Gradient Optimization Techniques参考文献 30被引用数 34

ひとこと要約

この論文は、非凸有限和問題における鞍点を効率的に脱出できる汎用最適化フレームワークを提案する。Hessian計算のコストを抑え、必要に応じてのみ2次順序ステップを適用することで、純粋な2次順序手法と比較して競争力のある収束速度と著しく高速なウォルククロック時間性能を達成する。

ABSTRACT

A central challenge to using first-order methods for optimizing nonconvex problems is the presence of saddle points. First-order methods often get stuck at saddle points, greatly deteriorating their performance. Typically, to escape from saddles one has to use second-order methods. However, most works on second-order methods rely extensively on expensive Hessian-based computations, making them impractical in large-scale settings. To tackle this challenge, we introduce a generic framework that minimizes Hessian based computations while at the same time provably converging to second-order critical points. Our framework carefully alternates between a first-order and a second-order subroutine, using the latter only close to saddle points, and yields convergence results competitive to the state-of-the-art. Empirical results suggest that our strategy also enjoys a good practical performance.

研究の動機と目的

• 非凸最適化における1次順序手法が鞍点に閉じ込められることの課題に対処すること。
• Hessian使用を必要最小限に抑えることで、2次順序手法の計算負荷を軽減すること。
• 2次順序臨界点への保証付き収束を実現するフレームワークを設計すること。
• 大規模非凸問題における反復複雑度と計算コストのトレードオフをバランスすること。

提案手法

• ステーションナリティーチェックに基づき、1次順序最適化（例：SGD や Adam）と2次順序最適化（例：ApproxCubicDescent）を交互に適用する。
• 大多数の反復で勾配情報を利用し、点が臨界点ではあるが2次順序臨界点ではないと判明した場合にのみヘッセ行列に基づく最適化を実行する。
• 勾配とヘッセ行列の解析を用いて、現在の反復点が鞍点であるかどうかを検出するメカニズムを備える。
• 2通りの実装例を提示：1つは正確なヘッセ行列計算を用い、もう1つは低ランク更新による近似ヘッセ行列を用いる。
• ISO（ヘッセ・ベクトル積）の呼び出し回数を最小限に抑えるように設計されており、計算オーバーヘッドを低減しながら収束保証を維持する。
• Adamを1次順序コンponent、ApproxCubicDescentを2次順序コンponentとして用い、深層学習問題にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 純粋な1次または2次順序手法と比較して、ハイブリッドな1次・2次順序最適化戦略は、鞍点をより効率的に脱出できるか？
• RQ2 2次順序臨界点への収束を保証しつつ、ヘッセ行列の計算をどのように最小化できるか？
• RQ3 大規模非凸問題における鞍点脱出において、反復回数とウォルククロック時間のトレードオフは何か？
• RQ4 多様な非凸有限和問題に最小限の仮定で適用可能な汎用フレームワークを設計できるか？

主な発見

• 提案フレームワークは、純粋な2次順序手法（例：ApproxCubicDescent）と比較して、ISO呼び出しを最大100倍削減した。
• ウォルククロック時間の観点から、深層オートエンコーダーベンチマークにおいて、Adam や ApproxCubicDescent と比較して、鞍点からの脱出がより速かった。
• CURVES および MNIST オートエンコーダーのタスクにおいて、ベースライン手法よりも速く収束し、ヘッセ行列に基づく反復回数も著しく少なかった。
• フレームワークの収束速度は、最先端の2次順序手法と同等であり、2次順序臨界点に到達するには O(1/ε³/²) の反復が必要であった。
• 実験結果から、ハイブリッド手法は計算コストと収束速度のバランスを図っており、大規模な環境でも2次順序の利点を実用的かつ有効に活用できることを示した。