[論文レビュー] Fractional Max-Pooling

Benjamin Graham|arXiv (Cornell University)|Dec 18, 2014

Advanced Neural Network Applications参考文献 14被引用数 335

ひとこと要約

本稿では、非整数要因（1 < α < 2）で特徴マップのサイズを縮小する確率的空間プーリング手法である分数マックスプーリング（FMP）を導入する。FMPにより、より細分化された特徴階層が可能となり、一般化性能が向上する。FMPは過学習を軽減し、ドロップアウトを用いないCIFAR-100で最先端の性能を達成しており、MNIST、CIFAR-10、および手書き文字認識タスクを含む複数のデータセットで、標準の2×2マックスプーリングを上回る性能を発揮する。

ABSTRACT

Convolutional networks almost always incorporate some form of spatial pooling, and very often it is alpha times alpha max-pooling with alpha=2. Max-pooling act on the hidden layers of the network, reducing their size by an integer multiplicative factor alpha. The amazing by-product of discarding 75% of your data is that you build into the network a degree of invariance with respect to translations and elastic distortions. However, if you simply alternate convolutional layers with max-pooling layers, performance is limited due to the rapid reduction in spatial size, and the disjoint nature of the pooling regions. We have formulated a fractional version of max-pooling where alpha is allowed to take non-integer values. Our version of max-pooling is stochastic as there are lots of different ways of constructing suitable pooling regions. We find that our form of fractional max-pooling reduces overfitting on a variety of datasets: for instance, we improve on the state-of-the art for CIFAR-100 without even using dropout.

研究の動機と目的

• 標準の2×2マックスプーリングには、空間解像度が急速に低下し、領域が不連続になるという限界があり、これが一般化性能の阻害要因となるため、これを是正すること。
• より穏やかな非整数プーリング要因α（1 < α < 2）が、特徴階層の改善とモデルの頑健性向上に寄与するかを検証すること。
• 確率的で重複する、および擬似ランダムなプーリング領域選択が、性能と一般化性能に与える影響を調査すること。
• ドロップアウトや大規模なデータ拡張が利用できない状況において、FMPが過学習を軽減し、精度を向上させる有効性を評価すること。

提案手法

• FMPは、標準の2×2プーリングが半分に縮小するのではなく、非整数のプーリング要因α（例：√2、∛2）を用いて空間次元を分数的に縮小する。
• プーリング領域は特徴マップ全体にわたって確率的に選択され（ランダムまたは擬似ランダムに）、プーリング操作に制御されたばらつきを導入する。
• 領域の重複を許容することで、空間的連続性と特徴の文脈を保ち、非重複領域よりも性能が向上する。
• 各領域内でマックスプーリングを実行するが、αに応じて領域の配置とサイズを変化させることで、マルチスケール特徴表現が可能になる。
• 擬似ランダムかつ重複するプーリング領域は、ランダムまたは非重複構成よりも優れた結果を示すことが判明しており、特にデータ拡張と組み合わせた場合に顕著である。
• 本手法は、複数のFMP層を含む深層CNNアーキテクチャに適用され、標準のマックスプーリング層に代わって空間解像度を長期間維持する。

実験結果

リサーチクエスチョン

• RQ1 非整数プーリング要因α（1 < α < 2）を用いることで、標準の2×2マックスプーリングと比較して、畳み込みニューラルネットワークの一般化性能が向上するか？
• RQ2 FMPにおける確率的で重複するプーリング領域選択は、CIFAR-100 や MNIST のような小規模データセットにおける過学習の軽減と性能向上に寄与するか？
• RQ3 FMPは、小規模なゆがみや平行移動に対する不変性をエンコードする点で、データ拡張やドロップアウトと比較してどのように異なるか？
• RQ4 擬似ランダムな領域選択とランダムな領域選択の違いが、他の正則化技術と組み合わせた場合にモデル性能に与える影響は何か？
• RQ5 FMPは、ドロップアウトや大規模なデータ拡張に依存せずに、最先端の性能を達成できるか？

主な発見

• CIFAR-100では、FMPでα = √2を用いた場合、12回のランダムな重み初期化を経て26.39%のテスト誤差を達成し、ドロップアウトを用いない標準の2×2マックスプーリングを上回った。
• MNISTでは、重複する擬似ランダム領域を用いたFMPにより、12回の実行でテスト誤差が0.32%に低下し、標準の2×2マックスプーリングの0.54%を大きく下回った。
• アッサメース語手書き文字データセットでは、FMPネットワークはデータ拡張を一切行わなかったが、12回の実行で0.7%の誤差を記録し、アフィン変換によるデータ拡張を施したMP2ネットワーク（1.8%誤差）を上回った。
• CASIA-OLHWDB1.1では、FMPによりテスト誤差を2.97%（12回の実行）に低下させ、ドロップアウトとデータ拡張を適用した標準のMP2ベースモデル（3.82%誤差）を上回った。
• CIFAR-10では、FMPは100回の実行で3.47%のテスト誤差を記録し、同じ拡張スキームを用いたベースラインMP2モデルを上回り、トップKaggleソリューションと同等の性能を達成した。