[論文レビュー] Improving neural networks by preventing co-adaptation of feature detectors

Geoffrey E. Hinton, Nitish Srivastava+3 more|arXiv (Cornell University)|Jul 3, 2012

Neural Networks and Applications参考文献 18被引用数 6,639

ひとこと要約

Dropoutは訓練時に隠れユニットを定期的に省くことで共適応を防ぎ、実質的に多くのモデルを平均化して、さまざまなタスクでの汎化を改善します。

ABSTRACT

When a large feedforward neural network is trained on a small training set, it typically performs poorly on held-out test data. This "overfitting" is greatly reduced by randomly omitting half of the feature detectors on each training case. This prevents complex co-adaptations in which a feature detector is only helpful in the context of several other specific feature detectors. Instead, each neuron learns to detect a feature that is generally helpful for producing the correct answer given the combinatorially large variety of internal contexts in which it must operate. Random "dropout" gives big improvements on many benchmark tasks and sets new records for speech and object recognition.

研究の動機と目的

• 限られたデータでニューラルネットワークを訓練する際の過学習に対処する。
• 特徴検出器が共適応しないようにする、シンプルでスケーラブルな正則化手法（Dropout）を導入する。
• 複数のベンチマークデータセットとネットワークアーキテクチャにわたり、Dropoutが汎化を改善することを示す。

提案手法

• 各訓練事例ごとに、隠れユニットを確率0.5でランダムに削除し、共適応への依存を防ぐ。
• 標準的な確率的勾配降下法で訓練するが、各隠れユニットの入力重みベクトルにL2様の制約を適用し、破られた場合は再正規化する。
• テスト時には、活性化ユニット数の増加を考慮して、出力重みを半分にした全ての隠れユニットを含む平均ネットワークを用いる。
• Dropoutを、指数的な数のサブネットワークからの予測を平均するのと同等の、効率的なモデル平均化の形態として解釈する。
• 複数のデータセットにわたり、Dropoutを適用したネットワークを標準的なバックプロパゲーションおよび事前学習レジームと比較する。
• 任意でユニットごとにDropout確率を調整し、学習されたDropoutをエキスパートの混合アプローチとして検討する。

実験結果

リサーチクエスチョン

• RQ1 Dropoutはさまざまな領域で過学習を抑え、テスト性能を改善するか。
• RQ2 異なるアーキテクチャやデータタイプに対して、Dropoutをどのように設定すべきか（確率、ユニットごとの適応など）？
• RQ3 ニューラルネットワークにおけるDropoutとアンサンブル／モデル平均の解釈との関係は何か？
• RQ4 大規模な視覚タスクにおける事前学習および畳み込みアーキテクチャとの関係で、Dropoutはどのように作用するか？

主な発見

• Dropoutは複数のアーキテクチャでMNISTのテスト性能を著しく改善し、標準のバックプロパゲーションと比較して誤り率を低減します。
• TIMITでは、50%の隠れユニットDropoutでフレーム分類誤差を22.7%から19.7%に低下させます。
• CIFAR-10では、深層CNNの最後の隠れ層で適用すると誤差が18.5%から15.6%に低下します。
• ImageNetでは、最上位の畳み込み層でDropoutを用いると、5つの畳み込み層モデルで誤差が47.2%から42.4%に低下します。
• Reutersのテキストデータでは、2000-2000-1000-50のアーキテクチャで誤差を31.05%から29.62%に低下させます。
• DropoutはMNISTのビジュアライゼーションで観察されるように、より単純で共適用の少ない特徴を学習する傾向があります。