[論文レビュー] Toward Deeper Understanding of Nonconvex Stochastic Optimization with Momentum using Diffusion Approximations.

Tianyi Liu, Zhehui Chen+2 more|arXiv (Cornell University)|Feb 14, 2018

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

この論文は、非凸最適化におけるモーメンタム確率的勾配降下法（MSGD）の拡散近似分析を提供し、モーメンタムが厳密な鞍点からの脱出を加速するが、ステップサイズの段階的縮小が行われない限り、最適解付近での収束を妨げる要因となることを明らかにした。研究では、マルティンゲール法および固定状態連鎖法を用いて、深層学習におけるMSGDの経験的成功の背後にある理論的洞察を提供した。

ABSTRACT

Momentum Stochastic Gradient Descent (MSGD) algorithm has been widely applied to many nonconvex optimization problems in machine learning. Popular examples include training deep neural networks, dimensionality reduction, and etc. Due to the lack of convexity and the extra momentum term, the optimization theory of MSGD is still largely unknown. In this paper, we study this fundamental optimization algorithm based on the so-called strict saddle problem. By diffusion approximation type analysis, our study shows that the momentum helps escape from saddle points, but hurts the convergence within the neighborhood of optima (if without the step size annealing). Our theoretical discovery partially corroborates the empirical success of MSGD in training deep neural networks. Moreover, our analysis applies the martingale method and Fixed-State-Chain method from the stochastic approximation literature, which are of independent interest.

研究の動機と目的

• 非凸最適化設定におけるモーメンタム確率的勾配降下法（MSGD）の理論的挙動を理解すること。
• モーメンタムが鞍点からの脱出を加速する一方で、局所的最小値付近での収束を妨げる可能性があるという二重の役割を調査すること。
• マルティンゲール法および固定状態連鎖解析といった高度な確率的近似技術を、非凸なMSGDダイナミクスに適用すること。
• 深層ニューラルネットワークの学習におけるMSGDの経験的成功を裏付ける厳密な理論的基盤を提供すること。

提案手法

• 分析では、非凸な形状の下で、MSGD反復の連続時間極限をモデル化するために拡散近似が用いられた。
• 研究は、臨界点におけるヘッセ行列に負の固有値を持つが局所的最小値を含まない「厳密な鞍点問題」に焦点を当てた。
• 近似プロセス中におけるMSGDダイナミクスの確率的誤差項を制御するためにマルティンゲール法が用いられた。
• 固定状態連鎖法は、臨界点付近でのアルゴリズムの長期的挙動を分析するために適用された。
• MSGDを近似する拡散過程のドリフト項と拡散項を検討することで、理論的結果が導出された。
• ステップサイズスケジュールの変化に応じて、MSGDの鞍点付近と局所的最適解付近での挙動の違いを区別した分析が行われた。

実験結果

リサーチクエスチョン

• RQ1 MSGDにおけるモーメンタムは、非凸最適化における厳密な鞍点からの脱出ダイナミクスにどのように影響するか？
• RQ2 ステップサイズを段階的に縮小しない場合、モーメンタムは局所的最小値付近での収束速度にどのような影響を及ぼすか？
• RQ3 拡散近似技術は、非凸設定下でのMSGD挙動を厳密に特徴づけることができるか？
• RQ4 マルティンゲール法および固定状態連鎖法は、非凸な形状におけるMSGDの分析にどのように寄与するか？

主な発見

• MSGDにおけるモーメンタムは、厳密な鞍点からの脱出速度を顕著に向上させ、劣悪な局所的解を回避する有効性を説明する。
• ステップサイズの段階的縮小が行われない限り、モーメンタムは局所的最適解付近での収束を遅くするため、アルゴリズム設計におけるトレードオフが生じる。
• 拡散近似フレームワークは、非凸設定下でのMSGDの定性的な挙動をうまく捉えており、理論的分析に有効であることが裏付けられた。
• マルティンゲール法および固定状態連鎖法の応用により、非凸最適化における確率的近似に適用可能な新しい理論的ツールが得られた。
• 理論的発見は、特に複雑な損失関数形状を travers する際の、深層ニューラルネットワークの学習におけるMSGDの経験的成功を部分的に説明している。