[論文レビュー] Max-Pooling Dropout for Regularization of Convolutional Neural Networks

Haibing Wu, Xiaodong Gu|arXiv (Cornell University)|Dec 4, 2015

Advanced Neural Network Applications参考文献 8被引用数 20

ひとこと要約

本稿では、訓練時に標準的なmax-poolingを確率的で重み付きのプーリング手法に置き換える正則化手法、max-poolingドロップアウトを提案する。この手法は、テスト時にモデルアンサンブルを模倣する。確率的プーリングにより、活性化の多項分布からのサンプリングを介してノイズを導入することで、画像分類ベンチマークにおける実験的評価で、標準的なmax-poolingや確率的プーリングを上回る汎化性能を実現する。

ABSTRACT

Recently, dropout has seen increasing use in deep learning. For deep convolutional neural networks, dropout is known to work well in fully-connected layers. However, its effect in pooling layers is still not clear. This paper demonstrates that max-pooling dropout is equivalent to randomly picking activation based on a multinomial distribution at training time. In light of this insight, we advocate employing our proposed probabilistic weighted pooling, instead of commonly used max-pooling, to act as model averaging at test time. Empirical evidence validates the superiority of probabilistic weighted pooling. We also compare max-pooling dropout and stochastic pooling, both of which introduce stochasticity based on multinomial distributions at pooling stage.

研究の動機と目的

• ドロップアウトが完全結合層と比較してプーリング層に与える影響が十分に理解されていないことから、その有効性を調査すること。
• max-poolingとドロップアウトに類似した正則化の理論的および実験的相互作用についての理解の不足を解消すること。
• 推論時にモデルアンサンブルを実現する新しい確率的重み付きプーリング機構を提案すること。
• 汎化性能および性能の観点から、既存の確率的プーリング手法とmax-poolingドロップアウトを比較すること。

提案手法

• 訓練時に活性化を多項分布に従ってサンプリングする確率的プーリング操作に標準的なmax-poolingを置き換える。
• 各プーリング領域における特徴マップの活性化にわたる多項分布からのサンプリングと同等であるとmax-poolingドロップアウトを形式化する。
• 特徴マップの値から導かれるソフトマックス確率を用いて重み付き平均を計算する確率的重み付きプーリング層を導入する。
• テスト時に同じ確率的プーリング層を用いて、複数回の確率的順方向伝搬におけるモデルアンサンブルを実行する。
• 標準的なバックプロパゲーションを用いてネットワークを訓練し、計算効率を維持する。
• 標準的なmax-poolingおよび確率的プーリングと比較するために、ベンチマーク画像分類データセット上で評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 max-poolingドロップアウトは、汎化性能およびテスト精度において、標準的なmax-poolingと比較してどのように異なるか？
• RQ2 多項分布からのサンプリングに基づく確率的プーリングは、畳み込みニューラルネットワークにおけるモデルのロバスト性および汎化性能を向上させることができるか？
• RQ3 提案された確率的重み付きプーリング層は、テスト時に効果的にモデルアンサンブルを実行できるか？
• RQ4 max-poolingドロップアウトと活性化にわたる多項分布からのサンプリングとの理論的同等性は何か？
• RQ5 標準ベンチマーク上での既存の確率的プーリングアプローチと比較して、本手法はどのように性能を発揮するか？

主な発見

• max-poolingドロップアウトは、訓練時に多項分布からの活性化サンプリングと理論的に同等であり、根拠に基づいた確率的正則化メカニズムを提供する。
• 提案された確率的重み付きプーリングは、CIFAR-10およびCIFAR-100データセットにおいて、標準的なmax-poolingや確率的プーリングよりも優れた汎化性能を達成する。
• 実験的結果から、確率的プーリングによるテスト時のモデルアンサンブルが、特に深層ネットワークにおいて顕著な精度向上をもたらすことが示された。
• プーリング層に意味のある確率的性質を導入しつつ、計算効率を維持する。
• 複数の実験において、テスト精度およびロバスト性の観点で、標準的なmax-poolingおよび確率的プーリングを上回る性能を発揮する。