[論文レビュー] The Power of Normalization: Faster Evasion of Saddle Points

Kfir Y. Levy|arXiv (Cornell University)|Nov 15, 2016

Tensor decomposition and applications参考文献 15被引用数 67

ひとこと要約

本稿では、非凸最適化における鞍点を確実に回避できるノイズ注入付き正規化勾配降下法、Saddle-NGD を提案する。Saddle-NGD は、ノイズ付き勾配降下法よりも局所的最小値への収束が速く、η-近似最適性に到達するには Õ(η⁻³ᐟ²) 回の反復、局所的最小値の吸引域に到達するには Õ(d³) 回の反復を要する。これは、ノイズ付き GD の Õ(η⁻²) および Õ(d⁴) の境界を改善している。

ABSTRACT

A commonly used heuristic in non-convex optimization is Normalized Gradient Descent (NGD) - a variant of gradient descent in which only the direction of the gradient is taken into account and its magnitude ignored. We analyze this heuristic and show that with carefully chosen parameters and noise injection, this method can provably evade saddle points. We establish the convergence of NGD to a local minimum, and demonstrate rates which improve upon the fastest known first order algorithm due to Ge e al. (2015). The effectiveness of our method is demonstrated via an application to the problem of online tensor decomposition; a task for which saddle point evasion is known to result in convergence to global minima.

研究の動機と目的

• 標準の勾配降下法が勾配の消失により停止する可能性がある非凸最適化における鞍点の挑戦に対処すること。
• 鞍点からの脱出に多くの反復を要する既存の一次元手法（ノイズ付き勾配降下法）を改善すること。
• 正規化勾配降下法にノイズ注入を施した Saddle-NGD が、オフラインおよび確率的設定の両方で、ノイズ付き GD よりも速く局所的最小値に確実に収束できることを示すこと。
• オンラインテンソル分解において局所的最小値がグローバル最小値に一致するという事実を活用し、実験的に検証することで、初期段階の収束が遅いにもかかわらず、長期的には優れた性能を示すことを示すこと。

提案手法

• 勾配の方向のみを用い、大きさを無視することで安定性を向上させ、鞍点からの脱出を促進する正規化勾配降下法の変種、Saddle-NGD を提案する。
• 鞍点からの脱出を保証するために、Saddle-NGD にノイズを注入する。ノイズの大きさは、探索と収束のバランスをとるために慎重に選定される。
• 厳密な鞍点性（strict-saddle property）の下での収束を分析する。これは、任意の点が、高勾配点、負のヘッセ固有値を持つ点、または強い凸性を示す局所的最小値に近い点のいずれかに属することを要請する。
• 理論的境界を確立する：η-近似最適性に到達するには Õ(η⁻³ᐟ²) 回の反復、局所的最小値の吸引域に到達するには Õ(d³) 回の反復を要する。ノイズ付き GD の Õ(η⁻²) および Õ(d⁴) の境界を改善している。
• 確率的設定への拡張を行い、ノイズ付き GD と同等のサンプル複雑度を達成するとともに、反復の計算コストが低いため実行時間が短縮される。
• オンラインテンソル分解にこの手法を適用し、局所的最小値がグローバル最小値に一致する性質を活用。ストリーミングデータのミニバッチから不偏勾配推定値を用いる。

実験結果

リサーチクエスチョン

• RQ1 正規化勾配降下法にノイズ注入を施した Saddle-NGD は、非凸最適化における鞍点からの脱出において、ノイズ付き勾配降下法を上回る性能を示せるか？
• RQ2 Saddle-NGD が η-近似最適性に到達するための理論的反復複雑度および局所的最小値の吸引域への収束に要する反復複雑度は何か？
• RQ3 Saddle-NGD は、ノイズ付き GD と比較して、確率的設定でも収束速度を維持または向上できるか？
• RQ4 初期段階の進捗が遅いにもかかわらず、オンラインテンソル分解のような実用的な非凸最適化問題において、Saddle-NGD はより速い長期的収束を達成できるか？

主な発見

• Saddle-NGD は、η-近似局所的最小値に到達するまでに Õ(η⁻³ᐟ²) 回の反復を要し、ノイズ付き GD の Õ(η⁻²) の境界を改善している。
• Saddle-NGD は局所的最小値の吸引域に到達するまでに Õ(d³) 回の反復を要するが、ノイズ付き GD は Õ(d⁴) 回を要する。次元に依存する依存関係において顕著な改善が示された。
• 確率的設定では、Saddle-NGD はノイズ付き GD と同等のサンプル複雑度を達成するが、反復の計算コストが低いため実行時間が短縮される。
• オンラインテンソル分解における実験的結果から、Saddle-NGD は再構成誤差において、特に小さな学習率の場合に約 2×10⁴ 回の反復以降にノイズ付き GD を上回ることが示された。
• 異なる学習率スケジューリングやノイズ注入の大きさに対しても、Saddle-NGD は一貫した長期的優位性を示し、ロバストであることが確認された。
• 理論的および実験的結果から、厳密な鞍点関数における鞍点からの脱出に、正規化勾配降下法にノイズ注入を施した手法が、より効率的な一次元手法であることが確認された。