[論文レビュー] Maxmin convolutional neural networks for image classification

Michaël Blot, Matthieu Cord+1 more|arXiv (Cornell University)|Oct 25, 2016

Advanced Neural Network Applications参考文献 11被引用数 3

ひとこと要約

本稿では、MaxMin-CNNと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。このアーキテクチャは、二重活性化戦略により、畳み込み後の高値の正の活性化と高値の負の活性化の両方を保持することで特徴表現を向上させ、MaxMinユニットによって特徴マップを倍増させる。この手法は、CIFAR-10で標準CNNよりも最大4.25%の性能向上を達成し、4500万パラメータで82.98%の正確性を達成。データ拡張を適用すると90.03%に達し、モデルサイズやアーキテクチャの複雑さに関わらず一貫した向上効果を示す。

ABSTRACT

Convolutional neural networks (CNN) are widely used in computer vision, especially in image classification. However, the way in which information and invariance properties are encoded through in deep CNN architectures is still an open question. In this paper, we propose to modify the standard convo- lutional block of CNN in order to transfer more information layer after layer while keeping some invariance within the net- work. Our main idea is to exploit both positive and negative high scores obtained in the convolution maps. This behav- ior is obtained by modifying the traditional activation func- tion step before pooling. We are doubling the maps with spe- cific activations functions, called MaxMin strategy, in order to achieve our pipeline. Extensive experiments on two classical datasets, MNIST and CIFAR-10, show that our deep MaxMin convolutional net outperforms standard CNN.

研究の動機と目的

• 標準のReLUベースのCNNでは、畳み込み後にすべての負の値が破棄されるため、その情報損失を是正すること。
• 強力な正の応答と強力な負の応答の両方を明示的に符号化することで、深層CNNにおける特徴表現と不変性を向上させること。
• モデルの複雑さを著しく増加させない最小限のアーキテクチャ的変更を考案すること。
• 負の検出を保持することで、CIFAR-10 や MNIST のような標準ベンチマークでより良い一般化性能と高い正確性が得られることを実証すること。

提案手法

• 標準のReLU活性化関数を、正の活性化（max）用と負の活性化（min）用の2つの別々の特徴マップを生成するMaxMin戦略に置き換える。
• 畳み込み層の各段階で、正の応答と負の応答に別々の活性化関数を適用することで、特徴マップの数を倍増させる。
• maxマップとminマップを独立してプーリングおよび正規化層に通し、空間的および判別的情報を保持する。
• MaxMinブロックを標準CNNアーキテクチャに統合し、ReLUとプーリングステップを新しい二重活性化メカニズムに置き換える。
• ベースラインCNNと同一のネットワークの深さと幅を維持するが、パラメータ数が同等になるようにフィルタ数を調整して、公平な比較を実現する。
• さらに性能を向上させるために、標準的なトレーニング技術（データ拡張、ZCAホワイトニング、ドロップアウト）を適用する。

実験結果

リサーチクエスチョン

• RQ1 高値の正の応答と高値の負の応答の両方を保持することで、画像分類における深層CNNの性能向上が図れるか？
• RQ2 MaxMin戦略は、標準のReLUベースの活性化関数とマックスプーリングに比べて、より優れた特徴表現を実現するか？
• RQ3 パラメータ数を同じにした場合、MaxMin-CNNは標準CNNに比べてどのように性能を発揮するか？
• RQ4 深層化やアンサンブルベースのモデルを用いずに、MaxMinアーキテクチャがCIFAR-10で最先端の性能を達成できるか？
• RQ5 MaxMin手法は、異なるモデルサイズやトレーニング設定においても一般化可能か？

主な発見

• MaxMin-CNNは、同じアーキテクチャでCIFAR-10で78.62%の正確性を達成し、ベースラインCNNの74.44%から4.18%の向上を実現した。
• 4500万パラメータで、MaxMin-CNNは82.98%の正確性を達成し、同じパラメータ数の標準CNNの80.41%を上回った。
• 3万～4500万パラメータの範囲で、テストされたすべてのパラメータ設定において、MaxMinネットワークは標準CNNを一貫して上回った。
• データ拡張、ZCAホワイトニング、ドロップアウトを組み合わせた場合、MaxMin-CNNはCIFAR-10で90.03%のテスト正確性を達成し、より深いモデルやアンサンブル手法を上回った。
• この手法はアーキテクチャのスケーリングに対して頑健であり、モデルサイズや複雑さに関わらず一貫した性能向上効果を示した。