[論文レビュー] Understanding Dropout: Training Multi-Layer Perceptrons with Auxiliary Independent Stochastic Neurons

Kyunghyun Cho|arXiv (Cornell University)|Jun 12, 2013

Neural Networks and Applications参考文献 11被引用数 3

ひとこと要約

本論文は、各隠れニューロンに補助的確率的ニューロンを追加することで、多層パーセプトロン（MLP）を訓練する一般化フレームワークを提案する。この手法はドロップアウト、明示的ノイズ注入、セマンティックハッシングを特別なケースとして統一する。各層ごとに別々のドロップアウト確率を設定可能であり、実験的結果から、これらの確率を最適化することで汎化性能が向上し、各層で0.5前後が最適であり、極端な値では性能が低下することが示された。

ABSTRACT

In this paper, a simple, general method of adding auxiliary stochastic neurons to a multi-layer perceptron is proposed. It is shown that the proposed method is a generalization of recently successful methods of dropout (Hinton et al., 2012), explicit noise injection (Vincent et al., 2010; Bishop, 1995) and semantic hashing (Salakhutdinov & Hinton, 2009). Under the proposed framework, an extension of dropout which allows using separate dropping probabilities for different hidden neurons, or layers, is found to be available. The use of different dropping probabilities for hidden layers separately is empirically investigated.

研究の動機と目的

• ドロップアウト、明示的ノイズ注入、セマンティックハッシングといった多様な正則化手法を、MLPの訓練に適用可能な一貫した汎用フレームワークとして統合すること。
• 個々の隠れ層やニューロンに対して異なるドロップアウト確率を許容することで、標準的なドロップアウト手法を拡張した柔軟な正則化を可能にすること。
• 学習アルゴリズムを変更せずに、MLPに確率性を組み込む実用的でバックプロパゲーションと互換性のある手法を提供すること。
• 層ごとのドロップアウト確率や隠れ層におけるノイズ注入が、標準的手法と比較して汎化性能に与える影響を実験的に調査すること。

提案手法

• MLPの各隠れニューロンに、事前に定義された確率分布に従って活性化する独立した補助的確率的ニューロンを追加する。
• 各補助ニューロンから対応する隠れニューロンへの重みを定数（例：ドロップアウトでは無限大の負の値）に固定し、学習中に更新しないようにする。
• 標準的なバックプロパゲーションを用いてパラメータを学習し、順伝播時に確率的活性化値をサンプリングする。
• 非線形活性化関数の線形化と期待値演算子を補助ニューロンにまで下方に押し下げることで、期待出力の計算による予測を実現する。
• 既存手法を特別なケースとして再構築する：ドロップアウトはベルヌーイ分布に従う補助ニューロンと無限大の重みで実現；ノイズ注入はガウス分布に従うニューロンで実現；セマンティックハッシングはボトルネック層におけるホワイトガウスノイズで実現。
• 各層の補助ニューロンを独立して扱うことで、各層ごとに別々のドロップアウト確率を許容し、微調整可能な正則化を実現する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト、明示的ノイズ注入、セマンティックハッシングは、MLPの訓練において一貫したフレームワークに統合可能か？
• RQ2 異なる隠れ層に対して異なるドロップアウト確率を許容することで、一様なドロップアウトと比較して汎化性能が向上するか？
• RQ3 入力層だけでなく隠れ層に対してもホワイトガウスノイズを注入することで、より良い汎化性能が得られるか？
• RQ4 極端なドロップアウト確率（0または1に近い値）が、特に初期層においてモデル性能に与える影響は何か？
• RQ5 異なる層に注入されるノイズのレベルが、MLPのテスト精度および汎化性能に与える影響は何か？

主な発見

• 提案されたフレームワークは、ドロップアウト、明示的ノイズ注入、セマンティックハッシングを特別なケースとして一般化し、これらの正則化手法を統一的に捉える視点を提供する。
• 異なる隠れ層に対して別々のドロップアウト確率を用いることで、汎化性能が向上し、各層で確率が0.5前後である場合に最適な性能が得られることが観察された。
• 最初の隠れ層において極めて低いまたは高いドロップアウト確率（0または1に近い値）を設定すると、2番目の層の確率に関わらず性能が著しく低下する。
• 最初の隠れ層にノイズを注入することで、汎化性能に顕著な正の効果が得られ、上位層（例：2番目の層）に対してもノイズを注入することで、入力層のみにノイズを注入する場合と比較して性能がさらに向上する。
• 2番目の隠れ層のドロップアウト確率が低すぎると性能が低下するため、深層部における過剰な正則化が学習に悪影響を及ぼすことが示された。
• 実験的結果から、補助的確率的ニューロンの適切なチューニング（例：層ごとのドロップアウト確率やノイズレベル）が、標準的な一様ドロップアウトよりも優れた汎化性能をもたらす可能性があることが示唆された。