[論文レビュー] Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition

Rong Ge, Furong Huang+2 more|arXiv (Cornell University)|Mar 6, 2015

Tensor decomposition and applications参考文献 27被引用数 611

ひとこと要約

本稿では、非凸最適化における厳密な鞍点性質を導入し、ノイズを含む確率的勾配降下法（SGD）が多項式時間内で効率的に鞍点を脱出し、局所最小値に収束することを証明する。著者らはこのフレームワークを直交テンソル分解に応用し、厳密な鞍点性質を満たす新たな目的関数を提案することで、テンソル分解における最初のオンラインアルゴリズムで、グローバル収束保証を有するものとなった。

ABSTRACT

We analyze stochastic gradient descent for optimizing non-convex functions. In many cases for non-convex functions the goal is to find a reasonable local minimum, and the main concern is that gradient updates are trapped in saddle points. In this paper we identify strict saddle property for non-convex problem that allows for efficient optimization. Using this property we show that stochastic gradient descent converges to a local minimum in a polynomial number of iterations. To the best of our knowledge this is the first work that gives global convergence guarantees for stochastic gradient descent on non-convex functions with exponentially many local minima and saddle points. Our analysis can be applied to orthogonal tensor decomposition, which is widely used in learning a rich class of latent variable models. We propose a new optimization formulation for the tensor decomposition problem that has strict saddle property. As a result we get the first online algorithm for orthogonal tensor decomposition with global convergence guarantee.

研究の動機と目的

• 確率的勾配降下法（SGD）が非凸最適化において効率的に鞍点を脱出できる条件を特定すること。
• 深層ニューラルネットワークやその他の非凸モデルの学習において、鞍点が主要な障壁となるという課題に対処すること。
• 指数的多数の局所最小値と鞍点を有する非凸設定において、SGDのグローバル収束保証を提供すること。
• 直交テンソル分解のためのオンラインアルゴリズムを、理論的収束保証とともに開発すること。

提案手法

• 厳密な鞍点性質の導入：2回微分可能な関数で、すべての鞍点においてヘッセ行列が少なくとも1つの負の固有値を持つもの。
• ノイズを含む勾配降下法（SGDに注入されたノイズを含む）を厳密な鞍点条件下で分析し、多項式時間内で局所最小値に収束することを証明。
• 直交テンソル分解のための新しい最適化定式化を設計し、それが厳密な鞍点性質を満たすようにすること。
• 接空間への射影やヘッセ行列の近似を含むリーマン幾何学的最適化手法を用い、臨界点周辺の局所的幾何構造を分析。
• 厳密な鞍点条件下では、SGDが確率的ノイズのおかげで鞍点を効率的に脱出できることを証明。これは1階微分情報のみで可能。
• 制約多様体上でのヘッセ行列の安定性と曲率解析を通じて、提案されたオンラインアルゴリズムのグローバル収束を確立。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化において、確率的勾配降下法（SGD）がどの条件下で効率的に鞍点を脱出できるか。
• RQ2 勾配情報のみで、指数的多数の鞍点と局所最小値を有する非凸問題においても、1階手法（SGD）がグローバル収束を達成できるか。
• RQ3 すべての鞍点が負の曲率方向を持つという「厳密な鞍点性質」が、勾配情報のみで鞍点からの効率的脱出を可能にするか。
• RQ4 直交テンソル分解のような実用的問題に、厳密な鞍点性質を設計的に組み込むことができるか。
• RQ5 直交テンソル分解のためのグローバル収束保証付きオンラインアルゴリズムは存在するか。

主な発見

• 厳密な鞍点性質のもとでは、ノイズを含む確率的勾配降下法（SGD）が、指数的多数の鞍点が存在する中でも多項式時間内で局所最小値に収束する。
• 提案された直交テンソル分解の最適化定式化は、厳密な鞍点性質を満たしており、グローバル収束保証が可能である。
• 直交テンソル分解のための最初のオンラインアルゴリズムが、グローバル収束保証とともに提案され、バッチ手法のスケーラビリティ制限を克服した。
• 解析により、SGDにおけるノイズのおかげで鞍点は不安定となり、勾配がゼロであっても脱出可能であることが示された。
• 任意の局所最小値のδ近傍内にある点について、すべての接空間方向でヘッセ行列が正の曲率を持つことが保証され、安定性と収束が確保される。
• このフレームワークは非制約および等式制約付き最適化に一般化可能であり、直交性制約付きテンソル分解のような問題へも応用可能である。