[論文レビュー] High-Performance Neural Networks for Visual Object Classification

Dan Cireşan, Ueli Meier+3 more|arXiv (Cornell University)|Feb 1, 2011

Advanced Neural Network Applications参考文献 22被引用数 220

ひとこと要約

本論文は、視覚的オブジェクト分類のための高パフォーマンスで完全にパラメータ設定可能なGPU実装による深層畳み込みニューラルネットワーク（CNN）を提示する。GPU上でエンドツーエンドの誤差逆伝播学習を実行することで、MNISTでは0.35%、NORBでは2.53%、CIFAR10では19.51%という最先端の誤差率を達成し、オンラインの確率的勾配降下法で学習された深くスパースに接続されたCNNが、浅いモデルを上回り、教師なし事前学習を必要としないことを示している。

ABSTRACT

We present a fast, fully parameterizable GPU implementation of Convolutional Neural Network variants. Our feature extractors are neither carefully designed nor pre-wired, but rather learned in a supervised way. Our deep hierarchical architectures achieve the best published results on benchmarks for object classification (NORB, CIFAR10) and handwritten digit recognition (MNIST), with error rates of 2.53%, 19.51%, 0.35%, respectively. Deep nets trained by simple back-propagation perform better than more shallow ones. Learning is surprisingly rapid. NORB is completely trained within five epochs. Test error rates on MNIST drop to 2.42%, 0.97% and 0.48% after 1, 3 and 17 epochs, respectively.

研究の動機と目的

• 視覚的オブジェクト分類のための高速で柔軟かつ完全にパラメータ設定可能なGPUベースの深層畳み込みニューラルネットワークの実装を開発すること。
• 標準ベンチマーク上での分類性能に与えるネットワークの深さ、幅、アーキテクチャ的要素（例：マックスプーリング、前処理）の影響を調査すること。
• 単純な誤差逆伝播による学習が、教師なし事前学習を必要とせず、浅いアーキテクチャを上回る性能を発揮することを実証すること。
• CPUベースの手法と比較して著しく短縮された学習時間により、大規模なハイパーパramータ空間の迅速な探索を可能にすること。

提案手法

• 本手法は、畳み込み層とマックスプーリング層を交互に配置した完全にパラメータ設定可能なCNNアーキテクチャを採用しており、カーネルサイズ、スキップ要因、特徴マップ数の柔軟な設定が可能である。
• 各畳み込み層は受容 field 全体にわたって重みを共有し、指定されたカーネルサイズとストライドを用いてフィルタを適用する。計算は以下の式により行われる：$ M^{n}_{x} = \frac{M^{n-1}_{x} - K^{n}_{x}}{S^{n}_{x} + 1} + 1 $。
• マックスプーリング層は、重複のない$ K_{x} \times K_{y} $領域における最大活性化値をとることで特徴マップをダウンサンプリングし、位置不変性を向上させる。
• エンドツーエンドの学習には、学習率の段階的減少（1エポックごとに0.993倍）を伴うオンライン確率的勾配降下法が用いられる。
• 入力表現の強化を目的としたオプションの画像処理層があり、固定フィルタ（例：ソーベル、シャール、コントラスト抽出フィルタ）を適用する。
• 実装はGPU実行を最適化しており、CPU最適化バージョンと比較して10～60倍の高速化を達成し、大規模ネットワークの迅速な学習を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの誤差逆伝播による深く完全に接続されたCNNの学習は、標準ベンチマーク上での浅いネットワークと比較して優れた性能を発揮するか？
• RQ2 マックスプーリング、カーネルサイズ、特徴マップ数といったアーキテクチャ的選択が、分類精度および一般化性能に与える影響は何か？
• RQ3 画像の平行移動によるデータ拡張は、既に平行移動不変性を有するCNNにおいても一般化性能の向上に寄与するか？
• RQ4 固定フィルタ（例：エッジ検出器）による前処理は性能向上に寄与するのか、それとも入力画像そのものよりも悪影響を及ぼすのか？
• RQ5 GPU加速は、CNN設計における大規模なハイパーパramータ空間の効率的探索をどの程度可能にするか？

主な発見

• 提案されたGPU加速CNNは、MNISTベンチマークで0.35%のテスト誤差率を達成し、当時、新たな最先端水準を樹立した。
• NORBデータセットでは、2.53%のテスト誤差率を達成し、既存の手法を上回った。
• CIFAR10では、最良のネットワークが19.51%のテスト誤差率を達成し、以前の最先端の20.40%および25.50%を上回った。
• 1層あたりの特徴マップ数を100から300に増加させた場合が最低誤差率（19.51%）を示し、さらに400マップに増やしても改善が見られなかった。
• 画像の平行移動を用いたデータ拡張により、CIFAR10の誤差率は、拡張なしの28.87%から20.26%に低下し、データ拡張の有効性が示された。
• GPU実装は、大規模ネットワークにおいてCPU最適化バージョンと比較して60倍以上も高速であり、学習時間を数日から数時間に短縮した。