[論文レビュー] Neural Network Regularization via Robust Weight Factorization

Jan Rudy, Wei‐Guang Ding+2 more|arXiv (Cornell University)|Dec 20, 2014

Neural Networks and Applications参考文献 25被引用数 4

ひとこと要約

本稿では、重み行列を頑健な成分に分解することで、サブネットワークのアンサンブルを効率的に訓練できる新しいニューラルネットワーク正則化手法FaMe（Factored Mean）を提案する。ドロップアウトとは異なり、FaMeはノイズに頑健な要因を学習し、より少ない有効パラメータ数で一般化性能を向上させるとともに、暗黙的かつ重み減衰を強制する。パラメータ数を1桁減らしてもドロップアウトを上回る性能を達成する。

ABSTRACT

Regularization is essential when training large neural networks. As deep neural networks can be mathematically interpreted as universal function approximators, they are effective at memorizing sampling noise in the training data. This results in poor generalization to unseen data. Therefore, it is no surprise that a new regularization technique, Dropout, was partially responsible for the now-ubiquitous winning entry to ImageNet 2012 by the University of Toronto. Currently, Dropout (and related methods such as DropConnect) are the most effective means of regularizing large neural networks. These amount to efficiently visiting a large number of related models at training time, while aggregating them to a single predictor at test time. The proposed FaMe model aims to apply a similar strategy, yet learns a factorization of each weight matrix such that the factors are robust to noise.

研究の動機と目的

• 大規模ニューラルネットワークにおける過学習を軽減し、モデルの一般化性能を向上させるが、モデルの複雑さを増さない。
• ドロップアウトに類似した大規模なサブネットワークの族を効率的に探索する正則化技術を開発するが、パラメータ効率を向上させる。
• テスト時における正確なモデル平均化を可能にするために、ノイズに対して頑健な重み要因を学習し、ドロップアウトにおけるスパースな活性化の制限を回避する。
• 低ランク重み因子分解が、明示的な重み減衰がなくても、モデルを正則化し、過学習を軽減できるかどうかを調査する。

提案手法

• 各重み行列 $\mathbf{W}^{(l)}$ を2つの低ランク行列 $\mathbf{V}^{(l)}$ と $\mathbf{U}^{(l)}$ に因子分解し、$\mathbf{W}^{(l)} = \mathbf{V}^{(l)}\mathbf{U}^{(l)}$ とする。
• 訓練中、乗法的ノイズを因子行列 $\mathbf{U}^{(l)}$ に適用し、確率的サブネットワークをシミュレートすることで、大規模なモデル族の探索を可能にする。
• テスト時の予測は、学習済み要因の決定的関数として計算され、すべてのノイズ付きサブネットワークの予測の幾何平均を近似する。
• 明示的な $L_2$ ペナルティがなくても、暗黙的正則化により、実効重み行列 $\mathbf{W} = \mathbf{V}\mathbf{U}$ の $L_2$ ノルムを制約することで、モデルを正則化する。
• 因子分解構造により、ランク低減によってモデル容量を制御でき、パラメータ効率の高いアーキテクチャを実現できる。
• 本手法は、頑健な因子分解が、標準的なドロップアウトよりも効果的なアンサンブル平均化を可能にすることに根拠を置く。

実験結果

リサーチクエスチョン

• RQ1 因子分解された重み行列が、その成分がノイズに対して頑健であるように訓練可能であり、標準的なドロップアウトよりも一般化性能が向上するか？
• RQ2 FaMeのテスト手順が、訓練中に訪問されたすべてのサブネットワークの予測の真の幾何平均を正確に近似できるか？
• RQ3 FaMeがどの程度暗黙的に $L_2$ 重み減衰を強制するか、そしてドロップアウトと比較してどうなるか？
• RQ4 FaMeが顕著に少ない有効パラメータ数でドロップアウトを上回る性能を達成できるか？
• RQ5 ドロップアウトにおける ReLU 活性化のスパarsity が、訪問されたモデルの有効数に与える影響は何か？FaMeはこれを緩和できるか？

主な発見

• FaMe訓練はドロップアウトと同等に過学習を防止し、テストコストが訓練全体を通して減少を続ける。早期停止を必要としない。
• FaMeのテスト時の予測は、サンプリングベースの推定によって検証されたように、サブネットワーク予測の真の幾何平均をよく近似する。
• 有効パラメータ数を1桁減らしても、FaMeモデルは一般化性能において標準的なドロップアウトモデルを上回る。
• FaMeはドロップアウトよりも $L_2$ 重み減衰をより強く暗黙的に強制しており、実効重み行列の $L_2$ ノルムが訓練中に著しく速く減少することが裏付けられている。
• FaMeサブネットワーク予測の算術平均が幾何平均をわずかに上回る性能を示しており、平均化手順のさらなる最適化の余地があることを示唆している。
• 本手法は、重みの低ランク因子分解が、冗長性を低減し、一般化性能を向上させる有効な正則化メカニズムであることを示している。