[論文レビュー] A Non-Technical Survey on Deep Convolutional Neural Network Architectures

Felix Altenberger, Claus Lenz|arXiv (Cornell University)|Mar 6, 2018

Advanced Neural Network Applications参考文献 25被引用数 32

ひとこと要約

この技術的でない概説は、画像分類、オブジェクト局在、検出などのオブジェクト認識タスクにおける応用を焦点に、深層畳み込みニューラルネットワーク（DCNN）アーキテクチャの年表的概要を提供する。残差接続、Inceptionモジュール、深さ方向に分離可能な畳み込みといった、最先端のパフォーマンスを可能にした主要なアーキテクチャ的革新を説明し、2016年までに分類誤差が3％未満に低下し、人間水準の精度を超えたことを示している。

ABSTRACT

Artificial neural networks have recently shown great results in many disciplines and a variety of applications, including natural language understanding, speech processing, games and image data generation. One particular application in which the strong performance of artificial neural networks was demonstrated is the recognition of objects in images, where deep convolutional neural networks are commonly applied. In this survey, we give a comprehensive introduction to this topic (object recognition with deep convolutional neural networks), with a strong focus on the evolution of network architectures. Therefore, we aim to compress the most important concepts in this field in a simple and non-technical manner to allow for future researchers to have a quick general understanding. This work is structured as follows: 1. We will explain the basic ideas of (convolutional) neural networks and deep learning and examine their usage for three object recognition tasks: image classification, object localization and object detection. 2. We give a review on the evolution of deep convolutional neural networks by providing an extensive overview of the most important network architectures presented in chronological order of their appearances.

研究の動機と目的

• 分野の新規研究者向けに、深層畳み込みニューラルネットワーク（DCNN）アーキテクチャについて、技術的でない、アクセスしやすい概要を提供すること。
• 主要なDCNNアーキテクチャの年表的発展と、オブジェクト認識タスクへのその影響をたどること。
• 残差接続や深さ方向に分離可能な畳み込みといった、コアなアーキテクチャ的革新が、より深い、より正確で、より効率的なネットワークを可能にした理由を説明すること。
• ILSVRCのようなベンチマークチャレンジにおける性能向上、分類、局在、検出の各分野を含め、アーキテクチャ的選択がどのように性能を向上させたかを説明すること。
• 将来的な研究者に、DCNN分野における基礎的コンセプトと、より深い学習のための主要リソースを案内すること。

提案手法

• 本論文は、LeNetから始まり、AlexNet、VGG、GoogLeNet、ResNet、DenseNet、MobileNetに至る主要なDCNNアーキテクチャの年表的サーベイを提示する。
• オブジェクト認識のための階層的特徴抽出において、畳み込み層、プーリング操作、全結合層の役割を説明する。
• コアなアーキテクチャ的革新を分析し、残差接続（ResNet）、Inceptionモジュール（GoogLeNet）、密接続（DenseNet）、深さ方向に分離可能な畳み込み（MobileNet）を含む。
• 各アーキテクチャが性能と効率をどのように向上させるかを視覚的図解と簡略化された説明を用いて説明する。
• カーネルサイズ（3×3）、ストライド、パディング、解像度乗数といったハイパーパrameterが、モデルの精度と推論速度に与える影響を議論する。
• ILSVRCベンチマークにおける性能を評価し、分類誤差、局在誤差、平均平均精度（MAP）を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 DCNNアーキテクチャは、オブジェクト認識タスクにおけるパフォーマンス向上を図るために、どのように時間経過とともに進化したか？
• RQ2 どのようなアーキテクチャ的革新が、より深いネットワークの効果的な学習と最先端の結果の達成を可能にしたか？
• RQ3 残差接続とInceptionモジュールは、勾配消失問題をどのように軽減し、特徴学習をどのように向上させたか？
• RQ4 現代のDCNNでは、モデルの精度、パラメータ数、推論速度の間にはどのようなトレードオフがあるか？
• RQ5 深さ方向に分離可能な畳み込みは、モバイルやエッジデプロイメントに適した効率的なモデル（例：MobileNet）をどのように可能にしたか？

主な発見

• ILSVRCベンチマークにおける分類誤差は、2011年の非DCNN時代の26％から、2016年までに3％まで低下し、人間の誤差率（約5％）を上回った。
• 2015年に導入された残差ネットワーク（ResNet）は特に強い影響を持ち、100層を超える非常に深いネットワークを安定した勾配で学習可能にした。
• Inceptionベースのアーキテクチャ（例：GoogLeNet）は、異なるフィルターサイズを持つ並列な畳み込みパスを用いることで、パrameter数を削減しながら高い精度を達成した。
• MobileNet-v1は、深さ方向に分離可能な畳み込みを用いることで、標準的な畳み込みに比べて計算コストを最大8倍まで削減した。
• スキップ接続を備えたアーキテクチャ（例：ResNet、DenseNet）は、勾配の流れを著しく改善し、性能の劣化を伴わずにより深いネットワークの構築を可能にした。
• パディング1、ストライド1または2を伴う3×3カーネルの使用は、特徴抽出と計算コストのバランスを取る標準的な実践となった。