[論文レビュー] Theory III: Dynamics and Generalization in Deep Networks

Andrzej Banburski, Qianli Liao+5 more|arXiv (Cornell University)|Mar 12, 2019

Stochastic Gradient Optimization Techniques参考文献 47被引用数 6

ひとこと要約

この論文は、指数型損失関数を用いた深層ネットワークにおける勾配降下法が、隠れノルム正則化を通じてモデルの複雑さを暗黙的に制御し、最小ノルム（最大マージン）解への収束を引き起こすことを示している。明示的な正則化がなくても、学習のダイナミクスが汎化可能な解への暗黙のバイアスを誘発し、過パラメータ化されたネットワークにおける過学習のない現象を説明している。

ABSTRACT

The key to generalization is controlling the complexity of the network. However, there is no obvious control of complexity -- such as an explicit regularization term -- in the training of deep networks for classification. We will show that a classical form of norm control -- but kind of hidden -- is present in deep networks trained with gradient descent techniques on exponential-type losses. In particular, gradient descent induces a dynamics of the normalized weights which converge for $t o \infty$ to an equilibrium which corresponds to a minimum norm (or maximum margin) solution. For sufficiently large but finite $ρ$ -- and thus finite $t$ -- the dynamics converges to one of several margin maximizers, with the margin monotonically increasing towards a limit stationary point of the flow. In the usual case of stochastic gradient descent, most of the stationary points are likely to be convex minima corresponding to a constrained minimizer -- the network with normalized weights-- which corresponds to vanishing regularization. The solution has zero generalization gap, for fixed architecture, asymptotically for $N o \infty$, where $N$ is the number of training examples. Our approach extends some of the original results of Srebro from linear networks to deep networks and provides a new perspective on the implicit bias of gradient descent. We believe that the elusive complexity control we describe is responsible for the puzzling empirical finding of good predictive performance by deep networks, despite overparametrization.

研究の動機と目的

• 過パラメータ化された深層ネットワークにおいて、明示的な正則化が存在しないにもかかわらず一般化が生じるという非過学習の謎を解明すること。
• 勾配降下法による深層ネットワーク学習における複雑さ制御の隠れたメカニズムを特定すること。
• 線形ネットワークにおけるSrebroの結果を、同次性と正規化された重みダイナミクスを用いて、深層非線形ネットワークへと拡張すること。
• 重み正規化、バッチ正規化、およびラグランジュ法が、いずれも同様の最小ノルム解へ収束することを示すこと。
• 深層ネットワークにおける学習ダイナミクスと一般化性能の理論的関連を確立すること。

提案手法

• 指数型損失関数を用いた深層ReLUネットワークにおける正規化された重み $ V_k $ のダイナミクスを分析する。
• ネットワークの同次性を用いて、ネットワーク出力を $ f(W;x) = \rho f(V;x) $ と分解する。ここで $ \rho $ は層ごとの重みノルムの積である。
• 正規化された重み $ \dot{V} $ の力学系を導出し、単位ノルム制約下で定常点への収束を示す。
• ラグランジュ形式を用いて $ \|V_k\|_2 = 1 $ を強制し、定常点が最小ノルム解に対応することを証明する。
• 非正規化された重みにおける勾配降下法と、後続の正規化処理を比較し、漸近的に同等の振る舞いを示すことを示す。
• CIFAR-10およびIRISデータセットを用いた線形および畳み込みネットワークを用いて、収束速度とマージンダイナミクスを実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおける勾配降下法は、明示的な正則化なしに一般化をどのように達成するのか？
• RQ2 過パラメータ化された深層ネットワークにおける勾配降下法の暗黙の帰納的バイアスとは何か？
• RQ3 重み正規化とバッチ正規化は、学習ダイナミクスにおける暗黙の正則化とどのように関係するか？
• RQ4 重みノルムの積 $ \rho $ は、収束および一般化を制御する上で果たす役割は何か？
• RQ5 正規化された重みダイナミクスの定常点は、最大マージン解に対応するか？

主な発見

• 指数型損失関数を用いた深層ネットワークにおける勾配降下法は、明示的な正則化がなくても最小ノルム（最大マージン）解へ収束する。
• 有限な $ \rho $ の場合、ダイナミクスは制約付き最小化子に対応する定常点へ収束し、無限に小さい正則化と同等である。
• 訓練例数 $ N \to \infty $ の極限において、一般化ギャップはゼロに漸近的に収束する。
• 重み正規化とバッチ正規化は、ラグランジュ法と同一のダイナミクスを示し、同じ定常点へ収束する。
• $ \rho $ を $ \frac{1}{\log t} $ のようにスケーリングすると、非制約ダイナミクスに比べて収束速度が向上し、$ \rho \approx 4 $ の周辺でテスト損失と誤差の線形関係が崩れる。
• 100件のサンプルを用いたCIFAR-10における実験では、ネットワークは1つのサポートベクターに収束し、勾配ベースの摂動に対しても安定しており、最小ノルム解の頑健性を示している。