[論文レビュー] Stochastic Pooling for Regularization of Deep Convolutional Neural Networks

Matthew D. Zeiler, Rob Fergus|arXiv (Cornell University)|Jan 16, 2013

Advanced Neural Network Applications参考文献 7被引用数 573

ひとこと要約

この論文では、各プーリング領域内の活性化値に基づく多項分布からの確率的サンプリングに、決定的maxまたは平均プーリングを置き換えることで、ハイパーパramータフリーの正則化手法「stochastic pooling」を提案する。この手法は過学習を軽減し、データ拡張を用いない状態でも複数の画像データセットで最先端の性能を達成し、従来のプーリング法やドロップアウトよりも優れた性能を示す。

ABSTRACT

We introduce a simple and effective method for regularizing large convolutional neural networks. We replace the conventional deterministic pooling operations with a stochastic procedure, randomly picking the activation within each pooling region according to a multinomial distribution, given by the activities within the pooling region. The approach is hyper-parameter free and can be combined with other regularization approaches, such as dropout and data augmentation. We achieve state-of-the-art performance on four image datasets, relative to other approaches that do not utilize data augmentation.

研究の動機と目的

• 従来の正則化手法（ドロップアウトなど）が効果を発揮しにくい畳み込み層において、深層畳み込みニューラルネットワークにおける過学習を緩和すること。
• ドロップアウトとは異なり、既存のネットワーク活性化を破棄せずに活用する正則化手法の開発。
• データ拡張に依存せずに、画像分類タスクにおける一般化性能の向上。
• 調整すべきハイパーパrameterが一切ない、シンプルで即座に統合可能な正則化手法の作成。
• stochastic poolingが決定的プーリングや他の正則化手法よりも優れたテスト精度を達成できることの実証。

提案手法

• 各プーリング領域内の活性化に基づいて得られる多項分布からの確率的サンプリングに、従来の決定的プーリング（maxまたは平均）を置き換える。
• プーリング領域の確率を正規化された活性化として計算する：$ p_i = \frac{a_i}{\sum_{k \in R_j} a_k} $、ここで $ a_i $ は領域 $ j $ 内の位置 $ i $ における活性化値。
• 訓練時においては、この多項分布からのサンプリングにより確率的要因を導入し、正則化効果を発揮する。
• 推論時にも同じ確率的サンプリングプロセスを用いるが、複数回の順方向計算の確率加重平均をとることで、より高い耐性を実現する。
• 重み減衰、ドロップアウト、データ拡張などの他の正則化手法と組み合わせる。
• 畳み込み逆伝播ネットワークを用いて、確率的に選択されたプーリング位置から入力画素を再構成することで特徴マップを可視化し、サンプル間で構造的一致性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 stochastic poolingは、ドロップアウトが効果を発揮しにくい畳み込み層において、深層畳み込みネットワークを効果的に正則化し、過学習を軽減できるか？
• RQ2 画像分類タスクにおける一般化性能の観点から、stochastic poolingは決定的プーリング（maxおよびaverage）と比べてどのように差をつけるか？
• RQ3 特にデータ拡張を用いない状況において、stochastic poolingが他の正則化手法と組み合わせて最先端の性能を達成できるか？
• RQ4 確率的サンプリングプロセスは、特徴マップの局所的変形を通じて暗黙のデータ拡張を生成していると解釈できるか？
• RQ5 deconvolutional可視化によって明らかになるように、stochastic poolingにおける多項分布確率は、入力データの意味的な構造的情報をどれほど効果的に表現しているか？

主な発見

• CIFAR-10データセットにおいて、stochastic poolingで学習し、確率加重でテストした場合、テスト誤差は15.12%にまで低下し、max pooling（17.66%）や平均プーリング（53.50%）を上回る性能を示した。
• SVHNデータセットでは、stochastic poolingで学習し、確率加重でテストした場合、テスト誤差は15.20%にまで低下し、データ拡張を用いない手法の中で最先端の性能を達成した。
• この手法はハイパーパrameterフリーであり、計算コストの増加もほとんどないため、既存のCNNアーキテクチャへの容易な統合が可能である。
• deconvolutional可視化の結果、stochastic poolingは特徴マップにおける構造的情報を保持しており、特に一様分布ではなく、順方向確率からのサンプリング時に顕著に顕在された。
• 推論時における確率加重処理を組み合わせたstochastic poolingが最も優れた性能を示しており、複数回の確率的順方向計算のアンサンブルが耐性向上に寄与していることが示された。
• 重み減衰やドロップアウトなどの他の正則化手法と組み合わせても効果を発揮し、互換性があり、相乗効果も得られることを示した。