[論文レビュー] A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection

Zhaowei Cai, Quanfu Fan+2 more|arXiv (Cornell University)|Jul 25, 2016

Advanced Neural Network Applications参考文献 35被引用数 4

ひとこと要約

本稿では、複数の中間ネットワーク層で検出を実行し、それぞれが異なるオブジェクトスケールに最適化されるようにすることで、高速かつ高精度なオブジェクト検出を実現する統合的マルチスケール深層畳み込みニューラルネットワーク（MS-CNN）を提案する。マルチスケール特徴マップと入力画像のアップサンプリングではなくデコンボリューションベースの特徴アップサンプリングを活用することにより、MS-CNNはKITTIおよびCaltechベンチマークで最大15 fpsの最先端性能を達成し、メモリと計算コストを顕著に削減するとともに、小規模および隠蔽されたオブジェクトの検出を向上させる。

ABSTRACT

A unified deep neural network, denoted the multi-scale CNN (MS-CNN), is proposed for fast multi-scale object detection. The MS-CNN consists of a proposal sub-network and a detection sub-network. In the proposal sub-network, detection is performed at multiple output layers, so that receptive fields match objects of different scales. These complementary scale-specific detectors are combined to produce a strong multi-scale object detector. The unified network is learned end-to-end, by optimizing a multi-task loss. Feature upsampling by deconvolution is also explored, as an alternative to input upsampling, to reduce the memory and computation costs. State-of-the-art object detection performance, at up to 15 fps, is reported on datasets, such as KITTI and Caltech, containing a substantial number of small objects.

研究の動機と目的

• リアルタイムオブジェクト検出における複数スケールのオブジェクト検出を効率的に実現すること。
• Faster R-CNNのようなRPNベースの検出器が小規模オブジェクトで性能を発揮できない、固定の受容野の制限を克服すること。
• 従来の小規模オブジェクト検出手法で用いられる入力画像のアップサンプリングに伴う計算コストおよびメモリコストを低減すること。
• 複数の特徴マップスケールにおける補完的な検出器を統合することで、小規模および隠蔽されたオブジェクトの検出精度を向上させること。
• 提案生成と検出を同時に最適化する統合ネットワークをエンドツーエンドで訓練可能にする。

提案手法

• MS-CNNアーキテクチャは、共有バックボーン、プロポーザルサブネットワーク、検出サブネットワークから構成され、これらはエンドツーエンドで訓練される。
• 検出は、特定のオブジェクトスケール範囲に一致する受容域を持つ複数の中間層（例：conv-3、conv-5）で実行される。
• 異なる層からの特徴マップが、スケールに特化したオブジェクトプロポーザルを生成するために使用され、それらが統合されて強力なマルチスケール検出器が構築される。
• デコンボリューション層を導入して特徴マップをアップサンプリングし、入力画像のアップサンプリングを必要とせずに小規模オブジェクトの反応を強化する。
• 文脈符号化モジュールと次元削減畳み込み層を用いて、パrameterの増加を最小限に抑えながら特徴表現を向上させる。
• ハードネガティブマイニングとマルチタスク損失最適化を適用することで、トレーニング効率と検出精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 異なる受容域を持つ中間特徴マップを活用することで、単一の統合的ディープネットワーク内でマルチスケール検出を効果的に行えるか？
• RQ2 小規模オブジェクトの検出において、入力画像のアップサンプリングに比べてデコンボリューションベースの特徴アップサンプリングが、速度、メモリ効率、検出精度の観点で優れているか？
• RQ3 高スケール変動を示すデータセットにおいて、統合ネットワークアーキテクチャが10～15 fpsのリアルタイム推論速度を維持しながら最先端の検出性能を達成できるか？
• RQ4 複数の特徴マップスケールからの検出器を統合することで、特に小規模および隠蔽オブジェクトにおいて、リCALLとPRECISIONがどのように向上するか？
• RQ5 デコンボリューションによる特徴マップ近似は、検出性能を劣化させることなく、計算コストをどの程度低減できるか？

主な発見

• KITTIデータセットでは、100件のプロポーザルで95％を超えるリCALLを達成し、高品質なオブジェクトプロポーザル生成を実証した。
• KITTIベンチマークにおいて、MS-CNNは歩行者および自転車の検出で新たな最先端性能を達成し、Faster R-CNNおよび3DOPに比べて中程度難易度セットで6～7ポイント優れた性能を示した。
• KITTI（1250×375）では10 fps、Caltech（640×480）では15 fpsを達成し、入力画像のアップサンプリングを行わず、3DOPに比べて8倍も高速であった。
• デコンボリューションベースの特徴アップサンプリングにより、入力アップサンプリングに比べてメモリと計算コストを削減でき、精度への影響は最小限に抑えられた。
• Caltech歩行者ベンチマークでは、DeepPartsおよび他の最先端手法に比べて優れた性能を示し、特に中程度および部分的隠蔽状況で顕著な優位性を示した。
• 文脈符号化と次元削減を活用することで、パrameterの増加をわずかに抑えながら性能を向上させることができた。