[論文レビュー] Continuous vs. Discrete Optimization of Deep Neural Networks

Omer Elkabetz, Nadav Cohen|arXiv (Cornell University)|Jul 14, 2021

Stochastic Gradient Optimization Techniques参考文献 61被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワークにおける連続的勾配フローと離散的勾配降下法の間の形式的リンクを確立し、同次的活性化関数を仮定した場合、曲率の有利さのおかげで勾配フローの軌道が勾配降下法によってよく近似されることを示している。主な貢献は、ランダム初期化のもとで深層線形ネットワークにおける勾配降下法のグローバル最小値への収束保証を、連続的解析からの翻訳によって得たことである。

ABSTRACT

Existing analyses of optimization in deep learning are either continuous, focusing on (variants of) gradient flow, or discrete, directly treating (variants of) gradient descent. Gradient flow is amenable to theoretical analysis, but is stylized and disregards computational efficiency. The extent to which it represents gradient descent is an open question in the theory of deep learning. The current paper studies this question. Viewing gradient descent as an approximate numerical solution to the initial value problem of gradient flow, we find that the degree of approximation depends on the curvature around the gradient flow trajectory. We then show that over deep neural networks with homogeneous activations, gradient flow trajectories enjoy favorable curvature, suggesting they are well approximated by gradient descent. This finding allows us to translate an analysis of gradient flow over deep linear neural networks into a guarantee that gradient descent efficiently converges to global minimum almost surely under random initialization. Experiments suggest that over simple deep neural networks, gradient descent with conventional step size is indeed close to gradient flow. We hypothesize that the theory of gradient flows will unravel mysteries behind deep learning.

研究の動機と目的

• 深層学習における連続的勾配フローと離散的勾配降下法の間の乖離を形式的に分析すること。
• 勾配降下法が勾配フローをどれほどよく近似するかを決定する条件を特定すること。
• 連続的勾配フロー解析における収束保証を、離散的勾配降下法の設定に翻訳すること。
• ランダム初期化のもとで、深層（3層以上）の固定サイズネットワークにおける勾配降下法の最初の効率的収束保証を提供すること。
• 標準的な学習設定における勾配降下法の軌道が、勾配フローからどれほど近いかを経験的に検証すること。

提案手法

• 勾配降下法を勾配フローの初期値問題に対する数値近似とみなす。
• 数値解析の基本定理を適用し、近似誤差を曲率、特に軌道に沿った最小ヘッセ固有値によって上限付ける。
• 近似的にゼロに近い初期化のもとで、同次的活性化関数（例：ReLU）を備えた深層線形ネットワークを分析する。
• 勾配フロー軌道の有利な曲率—特に、最小ヘッセ固有値がゼロから離れていること—を用いて、勾配降下法によるタイトな近似を保証する。
• 深層線形ネットワークにおける勾配フローの既存の収束結果を、離散的勾配降下法における収束保証に翻訳する。
• フロベニウスノルムの不等式と摂動解析を用いて、離散的および連続的軌道の乖離を上限付ける。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法は、深層ニューラルネットワークにおいて、勾配フローをどの程度よく近似するか？
• RQ2 特に最小ヘッセ固有値という曲率が、勾配降下法と勾配フローの間の近似品質に果たす役割は何か？
• RQ3 連続的勾配フローで得られた収束結果を、深層ネットワークにおける離散的勾配降下法に厳密に適用できるか？
• RQ4 有限ステップサイズを用いた勾配降下法が、深層線形ネットワークでグローバル最小値に効率的に収束する条件は何か？
• RQ5 簡単な深層学習設定において、経験的勾配降下法の軌道が、勾配フローからどれほど近いか？

主な発見

• 同次的活性化関数を有する深層ニューラルネットワークにおいて、中程度に小さなステップサイズの勾配降下法は、軌道に沿った有利な曲率のおかげで、勾配フローをよく近似する。
• 深層線形ネットワークにおける勾配フロー軌道に沿った最小ヘッセ固有値は、収束付近ではゼロから離れて保たれ、強い近似を保証する。
• 本論文は、ランダムかつデータに依存しない初期化のもとで、深層（3層以上）の固定サイズネットワークにおける勾配降下法がグローバル最小値に効率的に到達するという、最初の収束保証を提供している。
• 経験的結果から、ステップサイズを小さくすると勾配降下法の軌道にわずかな変化しか生じず、理論的近似仮定を支持する。
• 勾配降下法と勾配フローの間の近似誤差は、最小ヘッセ固有値に対して指数的敏感であり、他の要因（滑らかさ、リプシッツ性）の影響は弱い。
• 離散的および連続的重みの乖離に対する導出された上限は、√(n⁵ϵ)/(1−√(n⁵ϵ))に比例する。ここで ϵ は初期化ノイズを制御するパラメータで、n はネットワークの深さである。