[論文レビュー] An empirical analysis of dropout in piecewise linear networks

David Warde-Farley, Ian Goodfellow+2 more|arXiv (Cornell University)|Dec 21, 2013

Adversarial Robustness in Machine Learning参考文献 17被引用数 63

ひとこと要約

この論文は、整数線形ネットワークにおけるドロップアウトを実証的に調査し、幾何平均推論の重みスケーリング近似が非常に正確で効果的であることを示している。ドロップアウトにおけるサブネットワーク間の重み共有が、独立したアンサンブルを超える一般化を著しく向上させることを示しており、適切なアンサンブル最適化なしにノイズを単に追加しても、ドロップアウトの利点を再現できないことを明らかにしている。

ABSTRACT

The recently introduced dropout training criterion for neural networks has been the subject of much attention due to its simplicity and remarkable effectiveness as a regularizer, as well as its interpretation as a training procedure for an exponentially large ensemble of networks that share parameters. In this work we empirically investigate several questions related to the efficacy of dropout, specifically as it concerns networks employing the popular rectified linear activation function. We investigate the quality of the test time weight-scaling inference procedure by evaluating the geometric average exactly in small models, as well as compare the performance of the geometric mean to the arithmetic mean more commonly employed by ensemble techniques. We explore the effect of tied weights on the ensemble interpretation by training ensembles of masked networks without tied weights. Finally, we investigate an alternative criterion based on a biased estimator of the maximum likelihood ensemble gradient.

研究の動機と目的

• 小さなReLUネットワークにおける幾何平均推論の重みスケーリング近似の正確さを評価すること。
• ドロップアウトで訓練されたモデルにおけるアンサンブル予測において、幾何平均と算術平均の性能を比較すること。
• ドロップアウトにおけるサブネットワーク間の重み共有が、独立したモデル平均化を超える正則化に寄与するかどうかを評価すること。
• 同じノイズを用いるブースティングに類似した基準が、標準的なSGDに比べて一般化性能を向上させるかを調査すること。

提案手法

• 小さなReLUネットワークにおけるすべてのサブネットワークを体系的に列挙し、予測の正確な幾何平均を計算した。
• 標準的なアンサンブル平均を用いて、重みスケーリングによる幾何平均と算術平均の性能を比較した。
• 重み共有なしにマスクされたネットワークの独立したバギングアンサンブルを訓練し、標準的なドロップアウトとの一般化性能を比較した。
• 「ドロップアウトブースティング」として新しい訓練基準を提案・評価し、ブースティングに類似した勾配推定器を用いてアンサンブル尤度を最適化した。
• ドロップアウト、ドロップアウトブースティング、標準的なSGDの間で、同一のハイパーパrameterとノイズ分布を用いて、公平な比較を実施した。
• テスト精度を評価し、性能差の有意性を統計的検定（ウィルコクソン符号順位検定）で評価した。

実験結果

リサーチクエスチョン

• RQ1 小さなReLUネットワークにおける予測の幾何平均の重みスケーリング近似はどの程度正確か？
• RQ2 ドロップアウトアンサンブルの文脈において、幾何平均は算術平均よりも分類性能が優れているか？
• RQ3 ドロップアウトにおけるサブネットワーク間の重み共有は、独立したアンサンブルと比較して、どの程度正則化に寄与しているか？
• RQ4 ドロップアウトと同一のマスキングノイズを用いるブースティングに類似した訓練基準は、標準的なSGDに比べて一般化性能を向上させるか？

主な発見

• 幾何平均の重みスケーリング近似は、小さなネットワークにおいて正確さが極めて高く、正確な幾何平均と密接に一致した。
• 分類タスクにおいて、幾何平均は算術平均と同等またはそれ以上の性能を示し、有効で妥当な代替手段であることが裏付けられた。
• 重み共有を伴うアンサンブル（標準的なドロップアウトの構造）は、同じサイズの重み共有なしに独立して訓練されたアンサンブルよりも顕著に優れた性能を示し、重み共有が正則化を強化していることが示された。
• 提案された「ドロップアウトブースティング」基準は、ドロップアウトと同じノイズを用いるが、異なる目的関数を最適化するため、標準的なSGDと同等または劣る性能を示し、ノイズ単体ではドロップアウトの一般化利点を再現できないことが示された。
• ウィルコクソン符号順位検定の結果、ドロップアウトブースティングとSGDの間には有意な性能差が認められず（p > 0.7）、ドロップアウトの主な利点はノイズ注入そのものではなく、アンサンブル構造に起因していることが裏付けられた。
• 結果から、ドロップアウトの成功は、大きなインクリメンタルアンサンブルと、文脈にわたる一般化を可能にするユニットの協調的学習の両方に起因しており、ノイズそのものによるものではないと示唆された。