[論文レビュー] Data-Dependent Path Normalization in Neural Networks

Behnam Neyshabur, Ryota Tomioka+2 more|arXiv (Cornell University)|Nov 20, 2015

Neural Networks and Applications参考文献 15被引用数 4

ひとこと要約

この論文は、パス正則化とバッチ正則化の間を補間するデータ依存パス正規化機構を定義することで、ニューラルネットワークの正規化、正則化、最適化を統一的な枠組みで扱う。DDP-SGD と呼ばれる、重みの再パrametrizationに対して不変な近似勾配降下法を提案し、その方法が対角自然勾配を近似することを示した。これにより、データ依存の複雑さの尺度を用いた不変性と一般化性能の向上が達成される。

ABSTRACT

We propose a unified framework for neural net normalization, regularization and optimization, which includes Path-SGD and Batch-Normalization and interpolates between them across two different dimensions. Through this framework we investigate issue of invariance of the optimization, data dependence and the connection with natural gradients.

研究の動機と目的

• 深層学習における既存の正規化および最適化手法を、一つの複雑さの尺度で統一すること。
• ニューラルネットワーク最適化におけるデータ依存性とパrametrization 不変性の役割を調査すること。
• 重みの再パラメータ化に対して不変であるが、データ依存性の程度にかかわらず有効な新しい最適化手法 DDP-SGD を開発すること。
• 提案された枠組みを自然勾配法、特にフィッシャー情報行列の対角近似を通じて結びつけること。
• ReLUネットワークにおけるパスヤコビアン行列のランクを特徴づけ、モデルの表現力と退化の影響を理解すること。

提案手法

• ノードごとの複雑さ尺度 γv を、正規化行列 R を用いて定義し、データ依存性を制御する。
• パス正則化を基盤とし、ℓ2パス正則化はネットワーク内のすべてのパスに沿った重みの積の二乗和を表す。
• 2つの最適化アプローチを提案：(1) バッチ正則化に類似した正規化再パラメータ化、(2) パス正則化空間における近似勾配降下法である DDP-SGD。
• 前向きおよび後ろ向き伝搬を用いて DDP-SGD を導出し、勾配計算を効率的に行える実装を可能にする。
• 完全なデータ依存性を持つ場合、DDP-SGD が対角自然勾配を近似することを示した。この際、活性化の2次モーメントを R として用いる。
• 不変性の性質を分析し、DDP-SGD が、R のデータ依存性に関わらずノード単位の重みスケーリングに対して不変であることを示した。

実験結果

リサーチクエスチョン

• RQ1 パス-SGD とバッチ正則化を、正規化および最適化のための統一的枠組みで統合することは可能か？
• RQ2 データ依存性は、ニューラルネットワーク最適化における不変性と一般化性能を決定づける要因として果たす役割は何か？
• RQ3 自然勾配を近似できる、効率的かつパラメータ不変な最適化手法を導出可能か？
• RQ4 パスヤコビアン行列のランクは、ネットワークアーキテクチャおよびパラメータ設定とどのように関係するか？
• RQ5 ReLUネットワークにおけるパスベクトルの生成する空間の次元を支配する組み合わせ的構造は何か？

主な発見

• DDP-SGD は、正規化行列 R のデータ依存性の程度に関わらず、重みの再パラメータ化に対して不変である。
• R の選択により、データに依存しないパス-SGD と完全にデータに依存するバッチ正則化の間を補間する枠組みが得られる。
• 完全なデータ依存性を持つ DDP-SGD は、対角自然勾配を近似し、完全な自然勾配の計算よりも計算効率の高い代替手法を提供する。
• パスヤコビアン行列 J(w) のランクは、一般に |E| − |V_internal| である。ここで |E| はエッジ数、|V_internal| は内部ノード数を表す。
• パスベクトル φ(x) の生成する空間の次元は、パス数より小さくなることがある。特に線形層や退化した ReLU ユニットが存在する場合に顕著である。
• パスヤコビアン行列がフルランクをとるパラメータの集合は、一般に（Lebesgue測度の意味で）稠密である。これは、広いネットワークではフルランクの振る舞いが一般的であることを示唆する。