[論文レビュー] Optimization for deep learning: theory and algorithms

Ruoyu Sun|arXiv (Cornell University)|Dec 19, 2019

Stochastic Gradient Optimization Techniques参考文献 256被引用数 132

ひとこと要約

この調査はニューラルネットのトレーニングにおける最適化手法と理論を総覧し、勾配の問題、トレーニングの工夫、局所・グローバルなトレーニングの問題に対処します。

ABSTRACT

When and why can a neural network be successfully trained? This article provides an overview of optimization algorithms and theory for training neural networks. First, we discuss the issue of gradient explosion/vanishing and the more general issue of undesirable spectrum, and then discuss practical solutions including careful initialization and normalization methods. Second, we review generic optimization methods used in training neural networks, such as SGD, adaptive gradient methods and distributed methods, and theoretical results for these algorithms. Third, we review existing research on the global issues of neural network training, including results on bad local minima, mode connectivity, lottery ticket hypothesis and infinite-width analysis.

研究の動機と目的

• ニューラルネットがなぜ訓練に成功するのか、訓練の成功に影響する要因は何かを説明する。
• 勾配の爆発/消失の問題とスペクトル制御を実用的な対策とともに概観する。
• ニューラルネットワークで使われる一般的な最適化アルゴリズムとそれらの理論的結果を概観する。
• 局所的な悪い極小値、モード連結、lottery tickets、無限幅解析などのグローバルなトレーニング課題を論じる。

提案手法

• 勾配の爆発/消失とスペクトル制御を論じる。慎重な初期化と正規化などの対策を提示する。
• 誤差逆伝播と、構造化された勾配計算フレームワークを提供する。
• 非凸問題に対する一般的な最適化手法を、収束に関する洞察とともに要約する（SGD、適応法、分散トレーニングを含む）。
• ニューラルネット固有のトリックとそれらの理論的根拠についての議論を提示する。
• 景観特性と無限幅解析を含むグローバル最適化の視点を検討する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットの訓練においてどのような最適化の課題が生じ、どのように緩和できるか。
• RQ2 初期化、正規化、アーキテクチャの選択が収束と訓練速度にどう影響するか。
• RQ3 深層学習における勾配ベースの手法の理論的保証と限界は何か。
• RQ4 良い解を見つける能力に影響するニューラルネットのグローバル特性は何か（例：局所極小、モード連結、lottery tickets、NTK など）。

主な発見

• 勾配の爆発や消失といった勾配の問題は訓練の難易度の要因の要であり、収束速度と景観特性と関連している。
• 慎重な初期化と正規化は、訓練を安定させ、収束を可能にするうえで重要な役割を果たす。
• SGDと適応法、分散トレーニングは、特定の仮定の下で確立された収束と計算量の結果を持つ中心的な最適化ツールである。
• グローバル最適化の視点は、モード連結や無限幅の挙動といった現象を明らかにし、訓練ダイナミクスの理解に資する。
• 理論分析は、初期化、信号伝播、幅と活性化関数の組み合わせが、実用的な訓練成功に結びつくことを示す。