[論文レビュー] Geometry of Optimization and Implicit Regularization in Deep Learning

Behnam Neyshabur, Ryota Tomioka+2 more|arXiv (Cornell University)|May 8, 2017

Advanced Numerical Analysis Techniques参考文献 5被引用数 89

ひとこと要約

本論文は、最適化の幾何学が深層ネットワークにおける暗黙の正則化を生み出すと主張し、一般化はネットワークのサイズではなく最適化の動的性によって支配されることを示し、Path-SGDをスケーリング不変で経路正則化された最適化手法として導入します。

ABSTRACT

We argue that the optimization plays a crucial role in generalization of deep learning models through implicit regularization. We do this by demonstrating that generalization ability is not controlled by network size but rather by some other implicit control. We then demonstrate how changing the empirical optimization procedure can improve generalization, even if actual optimization quality is not affected. We do so by studying the geometry of the parameter space of deep networks, and devising an optimization algorithm attuned to this geometry.

研究の動機と目的

• 深層学習における暗黙の正則化としての最適化の役割を動機づける。
• 異なる最適化ダイナミクスの下でネットワークサイズが一般化にどのように関連するかを調査する。
• RELUネットワークにおける一般化を改善する幾何学的認識を持つ最適化手法を提案する。

提案手法

• 入力-出力経路に沿った重みの積から定義される経路正規化と経路ノルムを介した経路ベースの正則化を導入する。
• 再スケーリング不変性を定義し、標準的な SGD/勾配降下がRELUネットワークに対して再スケーリング不変ではないことを示す。
• 経路正規化に対する近似的最急降下としてPath-SGDの更新式を導出する。
• すべての経路を列挙せずにPath-SGDの更新を計算する効率的な前方・後方アルゴリズムを提供する。
• MNIST、CIFAR-10/100、SVHNでの実験を通じて、Path-SGDがSGDおよび AdaGrad（ドロップアウト有無を問わず）より高速に収束し、一般化性能が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおいてネットワークサイズだけが一般化を支配するのだろうか、それとも最適化によって駆動される暗黙の容量制御が存在するのだろうか。
• RQ2 幾何学的認識を持つ最適化手法はRELUネットワークの一般化を改善するための誘導的バイアスと整合できるか。
• RQ3 不均衡なネットワークに起因する問題を回避する再スケーリング不変の最適化アルゴリズムを構築することは可能か。
• RQ4 経路ベースの正則化は従来のウェイト減衰よりも良い暗黙の正則化と一般化をもたらすか。
• RQ5 Path-SGDは標準のオプティマイザと比較してどのような性能を示すか。

主な発見

• ネットワークサイズを増やしても訓練誤差が低下し続ける一方でテスト誤差が依然として低下する可能性があり、最適化からの暗黙の正則化を示唆している。
• 経路正則化・再スケーリング不変の更新であるPath-SGDは、しばしば同等またはより良い目的関数値と一般化を達成し、SGDやAdaGradよりも優れることが多い。
• Path-SGDの更新はミニバッチを用いた前方・後方パスで効率的に実装でき、標準的な訓練サイクルに実用的である。
• 実験はPath-SGDがMNIST、CIFAR-10/100、SVHNにおいて、さまざまな設定（初期化のバランス有無、ドロップアウト有無）で、訓練の速度と一般化の点でベースラインを上回ることを示す。
• 経路正規化は再スケーリングに不変であり、Path-SGDは再スケーリング不変であることが証明され、RELUネットワークに適していることを補強している。