[論文レビュー] Path-SGD: Path-Normalized Optimization in Deep Neural Networks

Behnam Neyshabur, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Jun 8, 2015

Stochastic Gradient Optimization Techniques参考文献 16被引用数 164

ひとこと要約

この論文では、重みのスケーリングに対して不変なネットワーク関数を保証するパス正則化勾配降下法であるPath-SGDを提案する。重みのスケーリングに影響を受けることなく同等の関数を実現するため、最大ノルム正則化にインspiredされたパスワイズ正則化に対する近似最急降下法を用いる。Path-SGDは、SGD や AdaGrad よりも収束速度と一般化性能に優れ、特に重み初期化が不均衡な状況下でも顕著である。

ABSTRACT

We revisit the choice of SGD for training deep neural networks by reconsidering the appropriate geometry in which to optimize the weights. We argue for a geometry invariant to rescaling of weights that does not affect the output of the network, and suggest Path-SGD, which is an approximate steepest descent method with respect to a path-wise regularizer related to max-norm regularization. Path-SGD is easy and efficient to implement and leads to empirical gains over SGD and AdaGrad.

研究の動機と目的

• 深層学習における標準的SGDの限界を克服するため、重み最適化の幾何構造を再考すること。
• 重みのスケーリングに依存しない最適化手法を開発し、そのスケーリングがネットワークの出力関数に影響を与えないようにすること。
• ReLUネットワークのインダクティブバイアスと最適化の幾何を一致させることで、学習効率と一般化性能を向上させること。
• パス正規化最適化が、標準的な $β$-ノルムや重み減衰よりも優れた暗黙の正則化をもたらすことを示すこと。
• 既存の学習パイプラインに容易に統合可能な実用的で効率的なSGDの代替手法を提供すること。

提案手法

• 重みのすべてのスケーリングに対する最小最大ノルムのインスパイアを受けて導出されたパス正則化に対する近似最急降下法としてPath-SGDを提案する。
• 任意の隠れユニットにおいて、入力側の重みを定数 $c > 0$ で乗算し、出力側の重みを同様に除算する変換によって、スケーリング不変性を定義する。
• すべてのスケーリングに対して可能な最小の最大ノルムを計算するパス正則化を導入し、重みのスケーリングに対して不変であることを保証する。
• この正則化を用いて、重み空間上にリーマン幾何学に類似した幾何を定義し、スケーリング不変な最急降下更新を可能にする。
• ネットワークグラフ上のパスを動的計画法を用いて計算することで、パス正則化を効率的に実装する。
• AdaGrad などの適応的ステップサイズやモーメンタムと組み合わせることで、Path-SGDを実装し、既存の最適化ヒューリスティクスと互換性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 重みのスケーリングがネットワークの関数に影響を与えない以上、深層ネットワークにおける最適化の幾何をスケーリング不変に設計できるか？
• RQ2 パス正規化最適化は、標準的SGD や AdaGrad と比較して、収束速度と一般化性能に優れるか？
• RQ3 重みのスケーリングに対する最小最大ノルムに基づく正則化は、実用的に効率的に計算可能で、深層ネットワークの学習に応用可能か？
• RQ4 Path-SGD が誘発する暗黙の正則化は、初期化が悪くまたは不均衡な状況下でも一般化性能を向上させるか？
• RQ5 ドロップアウトを有効または無効にした状況下で、深層ネットワークの学習においてPath-SGDはSGD や AdaGrad と比較してどのように性能を発揮するか？

主な発見

• Path-SGD は、MNIST、CIFAR-10、CIFAR-100、SVHN といった複数のベンチマークデータセットで、SGD や AdaGrad よりも高速な収束を達成する。
• 重み初期化が不均衡な状況下では、Path-SGD は性能を維持するが、SGD や AdaGrad は学習誤差とテスト誤差の著しい低下を示す。
• Path-SGD は SGD や AdaGrad よりも一般化性能に優れ、訓練誤差がゼロであってもテスト誤差が低くなる傾向を示し、改善された暗黙の正則化を示唆する。
• 数値的に安定しており、ネットワークがバランスの取れた初期化か不均衡な初期化かに関わらず、同一の最適化軌道を生成する。
• 特にドロップアウトを用いた設定において、Path-SGD は学習速度と最終的な一般化誤差の両面でベースライン手法を上回る。
• 適応的ステップサイズやモーメンタムと組み合わせ可能であるため、これらの技術と組み合わせることでさらなる性能向上が期待できる。