[論文レビュー] Object Recognition Using Deep Neural Networks: A Survey

Soren Goyal, Paul R. Benjamin|arXiv (Cornell University)|Dec 10, 2014

Advanced Neural Network Applications参考文献 31被引用数 18

ひとこと要約

このサーベイは、オブジェクト認識における深層ニューラルネットワークの最近の進展をレビューし、特に畳み込みニューラルネットワーク（CNN）とそのアーキテクチャ的革新に焦点を当てる。ImageNetなどのベンチマークデータセットでの最先端の性能を強調し、ILSVRC-2014ではトップモデルが93%以上の精度を達成しており、画像認識、音声処理、医療画像分野への応用についても言及している。

ABSTRACT

Recognition of objects using Deep Neural Networks is an active area of research and many breakthroughs have been made in the last few years. The paper attempts to indicate how far this field has progressed. The paper briefly describes the history of research in Neural Networks and describe several of the recent advances in this field. The performances of recently developed Neural Network Algorithm over benchmark datasets have been tabulated. Finally, some the applications of this field have been provided.

研究の動機と目的

• オブジェクト認識における深層ニューラルネットワークの進化と現在の状態を要約すること、特に畳み込みアーキテクチャに焦点を当てる。
• 標準ベンチマークデータセットでのパフォーマンス向上をもたらした主要なアーキテクチャ的革新を特定すること。
• 大規模なデータセットとトレーニング技術がビジョンタスクにおける深層学習の発展に果たす役割を分析すること。
• 画像分類を越えた分野における深層ニューラルネットワークの新たな応用、特に音声認識と医療診断を探索すること。
• データアノテーション、計算コスト、およびニューラルネットワークにおける効率的で段階的な学習の必要性といった課題を強調すること。

提案手法

• 本論文は、畳み込みニューラルネットワーク（CNN）とそのコンponents（畳み込み層、プーリング、活性化関数、正則化技術など）に重点を置いた、深層ニューラルネットワークアーキテクチャの包括的レビューを実施する。
• 報告された精度指標を用いて、ImageNet、CIFAR-10、CIFAR-100、STL-10、MNIST、SVHNといった主要なベンチマークデータセットにおけるパフォーマンスを評価する。
• ドロップアウト、バッチ正規化、Maxoutネットワーク、および教師なし事前学習の使用といった、一般化性能を向上させるための主要なアルゴリズム的進歩を分析する。
• バックプロパゲーションとGPU加速の役割を強調しつつ、ADALINE や MADALINE といった初期モデルから現代のディープラーニングフレームワークに至る神経ネットワークの歴史的発展をたどる。
• Googleのストリートビューのプライバシー保護フィルタリング、ATMのチェック認識、トランスファーラーニングを用いた医療画像解析を含む、実世界のシステムへの応用を検討する。
• クラウドソーシングによるデータセット（ImageNet や MS-COCO）の使用を検討し、アノテーションの曖昧さとスケーラビリティの面での限界を評価する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト認識における破壊的性能向上をもたらした、深層ニューラルネットワークのアーキテクチャ的革新とは何か？
• RQ2 近年のディープラーニングモデルは、標準的な画像分類ベンチマークにおいて、従来の特徴工学的手法をどのように上回ったか？
• RQ3 ImageNet や MS-COCO のような大規模かつ人手によるアノテーションが施されたデータセットは、ディープラーニングのパフォーマンス向上にどのような役割を果たしたか？
• RQ4 実世界の応用において、ディープラーニングモデルは古典的な機械学習手法と比較して、どのように優れた性能を示したか？
• RQ5 現在のディープラーニングシステムにおける主な制約とは何か、特にデータ効率性、計算コスト、および新しい知識を段階的に学習できる能力の面で。

主な発見

• ILSVRC-2012では、優勝のディープラーニングモデルがトップ-1精度83%を達成し、これにより従来手法と比べて顕著な飛躍が見られた。
• ILSVRC-2014では、トップモデルがトップ-1精度93.3%に達し、画像認識におけるディープラーニングの急速な進歩を示している。
• MNISTデータセットでは、最先端のモデルが99.77%の精度を達成し、人間水準の性能に近づいている。
• CIFAR-10では、Network in Network や Maxout Networks といったモデルが、それぞれ91.2%および90.65%の精度を達成し、小規模データでも優れた一般化性能を示している。
• SVHNでは、深層CNNが97.84%の精度を達成し、従来手法を上回り、人間水準の性能に近づいている。
• 本論文は、ImageNetにおける人間のパフォーマンスが推定94%であることに言及しており、深層学習モデルが特定のベンチマークで人間水準の精度を超えてきているか、それに近づいていることを示している。