[論文レビュー] Deep Epitomic Convolutional Neural Networks

George Papandreou|arXiv (Cornell University)|Jun 10, 2014

Advanced Neural Network Applications参考文献 24被引用数 7

ひとこと要約

この論文は、標準の畳み込み層およびマックスプーリング層を置き換えることで、変換不変性と性能を向上させる、新しい深層学習アーキテクチャであるエピトーマティック畳み込みニューラルネットワークを紹介する。この手法は、局所的で位置不変な特徴マッチングを実現するミニ・エピトーマを用い、ImageNetでは13.6%のトップ5誤差率を達成し、同等のマックスプーリングネットワークを0.6%優回している。

ABSTRACT

Deep convolutional neural networks have recently proven extremely competitive in challenging image recognition tasks. This paper proposes the epitomic convolution as a new building block for deep neural networks. An epitomic convolution layer replaces a pair of consecutive convolution and max-pooling layers found in standard deep convolutional neural networks. The main version of the proposed model uses mini-epitomes in place of filters and computes responses invariant to small translations by epitomic search instead of max-pooling over image positions. The topographic version of the proposed model uses large epitomes to learn filter maps organized in translational topographies. We show that error back-propagation can successfully learn multiple epitomic layers in a supervised fashion. The effectiveness of the proposed method is assessed in image classification tasks on standard benchmarks. Our experiments on Imagenet indicate improved recognition performance compared to standard convolutional neural networks of similar architecture. Our models pre-trained on Imagenet perform excellently on Caltech-101. We also obtain competitive image classification results on the small-image MNIST and CIFAR-10 datasets.

研究の動機と目的

• 畳み込みニューラルネットワークにおける変換不変性を向上させる新しい深層学習の基本的ブロックを開発すること。
• 標準の畳み込みとマックスプーリングのペアを統合されたエピトーマティック畳み込み層に置き換えること。
• ImageNet、Caltech-101、MNIST、CIFAR-10などの大規模画像分類ベンチマークでエピトーマティックネットワークの性能を評価すること。
• 標準のマックスプーリングネットワークと比較して、エピトーマティックネットワークの収束速度と学習安定性を調査すること。
• 事前学習済みエピトーマティックネットワークが転移学習タスクにおける一般的な特徴抽出器としてどれほど有効であるかを検討すること。

提案手法

• 入力パッチよりもわずかに大きなミニ・エピトーマを用い、エピトーマティック検索により微小な平行移動に対して不変な応答を計算するエピトーマティック畳み込み層を提案する。
• 入力中心のエピトーマティックマッチングを採用：各入力パッチに対して、ミニ・エピトーマ内のフィルタ間で最も強い応答を選択し、フィルタ中心のマックスプーリングに代える。
• 大規模なエピトーマを用いたトポグラフィカル変種を導入し、1つの入力パッチに対して複数の応答を持つ空間的に整理された特徴マップを学習する。
• 分類タスクにおけるログロスを最小化するように、誤差逆伝播を用いて複数のエピトーマティック層を教師ありで学習させる。
• 収束を加速するために、フィルタの平均値およびコントラスト正規化を採用し、先行研究の手法と同様の効果を発揮する。
• 提案されたモデルを正確なハイパーパrameterで実装・再現可能にするために、Caffe深層学習フレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 エピトーマティック畳み込み層は、深層ネットワークにおける標準の畳み込みとマックスプーリングのスタックを効果的に置き換えられ、性能向上を実現できるか？
• RQ2 従来のマックスプーリングと比較して、エピトーマティック表現は変換不変性をどのように向上させるか？
• RQ3 平均値およびコントラスト正規化されたフィルタが、エピトーマティックネットワークの収束速度に与える影響は何か？
• RQ4 事前学習済みエピトーマティックネットワークは、Caltech-101における転移学習タスクで、特徴抽出器としてどれほど汎用的か？
• RQ5 エピトーマティックネットワークは、スクラッチから訓練した場合、MNIST や CIFAR-10 などの小規模画像ベンチマークで競争力のある性能を達成できるか？

主な発見

• ミニ・エピトーマ変種は、ImageNet ILSVRC-2012の検証セットで13.6%のトップ5誤差率を達成し、同等のマックスプーリングネットワーク（14.2%誤差）を0.6ポイント上回った。
• エピトーマティックモデルはマックスプーリングベースラインよりも収束が早く、特にフィルタの平均値およびコントラスト正規化が施された場合、収束速度と学習安定性の両方が向上した。
• ブラックボックスの特徴抽出器として使用した場合、事前学習済みエピトーマティックネットワークはCaltech-101で平均87.8%の精度を達成し、マックスプーリングベースラインを0.5ポイント上回った。
• MNISTでは、エピトーマティックネットワークが0.44%のテスト誤差率を達成し、マックスアウトネットワークの最先端性能と同等だった。
• CIFAR-10では、エピトーマティックモデルが9.43%の誤差率を達成し、マックスアウトネットワークの9.38%とほぼ同等の性能を示し、小規模画像タスクにおいても強力な性能を発揮した。
• トポグラフィカル変種はImageNetで15.4%のトップ5誤差率を記録し、大規模エピトーマが有効であることが示されたが、主実験ではミニ・エピトーマがより優れていた。