[論文レビュー] Multi-column Deep Neural Networks for Image Classification

Dan Cireşan, Ueli Meier+1 more|arXiv (Cornell University)|Feb 13, 2012

Advanced Neural Network Applications参考文献 25被引用数 64

ひとこと要約

この論文は、複数の深層畳み込みニューラルネットワーク（DNN）を組み合わせ、勝者-1つ取りのニューロンと最小限の受容野を用いることで、画像分類ベンチマークで最先端の性能を達成する新規アーキテクチャであるマルチカラム深層ニューラルネットワーク（MCDNN）を紹介している。異なる前処理を施した入力を用いて複数のDNNカラムを独立に学習し、その予測結果を平均化することで、誤差率を30–40%低減し、MNISTでは人間並みの性能を達成し、交通標識認識では人間を上回る性能を示した。

ABSTRACT

Traditional methods of computer vision and machine learning cannot match human performance on tasks such as the recognition of handwritten digits or traffic signs. Our biologically plausible deep artificial neural network architectures can. Small (often minimal) receptive fields of convolutional winner-take-all neurons yield large network depth, resulting in roughly as many sparsely connected neural layers as found in mammals between retina and visual cortex. Only winner neurons are trained. Several deep neural columns become experts on inputs preprocessed in different ways; their predictions are averaged. Graphics cards allow for fast training. On the very competitive MNIST handwriting benchmark, our method is the first to achieve near-human performance. On a traffic sign recognition benchmark it outperforms humans by a factor of two. We also improve the state-of-the-art on a plethora of common image classification benchmarks.

研究の動機と目的

• 画像認識タスクにおける人間レベルの性能に到達するための従来のコンピュータビジョンおよび機械学習手法の限界を克服すること。
• 教師あり事前学習や複雑な初期化を必要とせず、高い精度を達成する深層学習アーキテクチャを開発すること。
• 異なる入力前処理バージョンで学習された複数のDNNを組み合わせることで、画像分類の誤差率を低減すること。
• GPU上で完全に教師あり、エンドツーエンドの学習が、教師なし事前学習を伴わないにもかかわらず、従来の手法を上回ることを示すこと。
• MNIST、交通標識、NORBといった広く用いられるベンチマークで、人間並みまたはそれ以上の性能を達成すること。

提案手法

• アーキテクチャは、2次元の勝者-1つ取りニューロンと重複する共有受容野を備えた、深くスパarsely接続された畳み込みニューラルネットワークを用い、ハベルとワイゼルの視覚皮質モデルにインspiredされている。
• 最小限の受容野（例：2×2または3×3）を用いることで、ネットワークの深さを最大化し、類人猿の視覚経路と同程度のレイヤー数を持つアーキテクチャを実現している。
• バックプロパゲーション中は、勝者ニューロンのみが更新されるため、計算負荷が低減され、生物学的に妥当なエネルギー効率を再現している。
• 複数のDNNカラムを独立に学習させ、それぞれが異なる入力前処理バージョン（例：回転、スケーリング、平行移動された画像）を処理することで、耐性を高めている。
• 最終的な予測は、すべてのカラムの出力を平均することで得られ、完全なモデルアンサンブルを用いなくても、アンサンブルに似た性能向上効果が得られる。
• 学習は完全にオンラインで実行され、GPU上で行われ、収束が速く（CPUベースの学習に比べ最大100倍速い）、大規模な学習が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 オンラインバックプロパゲーションで学習された深く、完全に教師ありのDNNが、教師なし事前学習を伴わず、画像分類ベンチマークで人間並みの性能を達成できるか？
• RQ2 異なる前処理を施した入力を処理する複数のDNNカラムを組み合わせることで、分類精度と一般化性能にどのような影響を与えるか？
• RQ3 最小限の受容野と勝者-1つ取りメカニズムが、画像認識タスクにおけるネットワークの深さと性能をどの程度向上できるか？
• RQ4 提案されたMCDNNアーキテクチャが、MNIST、CIFAR10、NORB、交通標識といった多様なベンチマークで、既存の最先端手法を上回る性能を示せるか？
• RQ5 入力前処理の多様性が、誤差低減および高い精度を達成するために必要なカラム数に与える影響は何か？

主な発見

• MCDNNはMNISTベンチマークで0.23%の誤差率を達成し、以前の最先端（0.39%）を上回り、人間に近い性能に到達した。
• 交通標識認識ベンチマークでは、MCDNNが0.54%の誤差率を達成し、人間の性能を2倍上回った。
• ノルブ（ゆらぎ・ごみ入り）データセットでは、10個すべての訓練foldで学習した場合、MCDNNは誤差率を2.70%まで低減し、以前の最先端（5.00%）を上回った。
• 複数のベンチマークで誤差率を30–80%低減し、MNISTでは41%の改善、交通標識では72%の改善が得られた。
• 2つのfoldの訓練データでの学習でも、MCDNNはノルブで3.57%の誤差率を達成し、限られたデータでも高い耐性を示した。
• ノルブデータセットの誤差の84%は、正しい2番目の予測が存在していたことに関連しており、モデルの不確実性がしばしば低く、誤りが予測可能であることが示された。