[論文レビュー] Generalizing and Improving Weight Initialization.

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|Jul 8, 2016

Advanced Neural Network Applications参考文献 2被引用数 3

ひとこと要約

この論文では、ドロップアウトと非線形性が活性化分散に与える影響を考慮した修正された重み初期化手法を提案する。これにより、データ拡張を用いないCIFAR-10およびCIFAR-100で最先端の性能を達成する。推論時におけるドロップアウトをオフにした状態でバッチ正則化の移動分散推定値を調整することにより、深層ネットワークの精度が向上する。

ABSTRACT

We show how to adjust for the variance introduced by dropout with corrections to weight initialization and Batch Normalization, yielding higher accuracy. Though dropout can preserve the expected input to a neuron between train and test, the variance of the input differs. We thus propose a new weight initialization by correcting for the influence of dropout rates and an arbitrary nonlinearity's influence on variance through simple corrective scalars. Since Batch Normalization trained with dropout estimates the variance of a layer's incoming distribution with some inputs dropped, the variance also differs between train and test. After training a network with Batch Normalization and dropout, we simply update Batch Normalization's variance moving averages with dropout off and obtain state of the art on CIFAR-10 and CIFAR-100 without data augmentation.

研究の動機と目的

• ドロップアウトによって引き起こされる訓練時と推論時の分散の不一致を解消すること。
• 補正スケーリング係数を用いてドロップアウト率と非線形性の影響を組み込んだ重み初期化を改善すること。
• 推論時にドロップアウトを無効化した状態でバッチ正則化の移動分散推定値を更新することにより、ドロップアウト下でのバッチ正則化の性能を向上させること。
• データ拡張を用いないCIFAR-10およびCIFAR-100で最先端の精度を達成すること。

提案手法

• ドロップアウトが引き起こす分散と使用される特定の非線形性を補正するための補正スケーリング係数を適用する新しい重み初期化方式を導入する。
• ドロップアウト率と非線形性の2階モーメントに基づくスケーリング係数を導出することで、層間における活性化分散の安定化を図る。
• ドロップアウトをオフにした状態で推論時にバッチ正則化の移動分散統計量を再推定することで、バッチ正則化を変更し、一貫性のある正則化を確保する。
• CIFAR-10およびCIFAR-100で訓練された標準的な畳み込みネットワークに、修正された初期化と分散再推定を適用する。
• 追加のハイパーパrameterやトレーニングの変更を必要としない、単純で解析的に裏付けられた補正を採用する。
• 標準ベンチマーク上で手法を検証し、複数のアーキテクチャにわたり一貫した精度向上を示す。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトが訓練時と推論時における活性化の分散にどのように影響するか？
• RQ2 ドロップアウトと非線形性の影響を補正できるように、重み初期化を体系的に修正できるか？
• RQ3 ドロップアウト下での分散推定の不一致が、バッチ正則化の性能にどのように影響するか？
• RQ4 推論時に改善された分散推定が、データ拡張なしでより高いテスト精度をもたらすか？
• RQ5 提案手法が、CIFAR-10やCIFAR-100のような標準的なビジョンベンチマークで最先端の結果を達成できるか？

主な発見

• 提案された重み初期化手法は、ドロップアウトと非線形性による分散変化を補正することで、テスト精度を顕著に向上させる。
• 推論時にドロップアウトをオフにした状態でバッチ正則化の移動分散推定値を更新することで、より良い一般化性能が得られる。
• 本手法は、データ拡張を用いないCIFAR-10およびCIFAR-100で最先端の性能を達成する。
• 補正は異なるネットワークアーキテクチャにわたり有効であり、追加のハイパーパrameterを必要としない。
• 補正の根拠は、ドロップアウト下での真の期待活性化分散とテスト時に使用される分散推定値を一致させることに起因する。
• アプローチは単純で解析的に裏付けられており、最小限の変更で既存モデルに直接適用可能である。