[論文レビュー] MDFN: Multi-Scale Deep Feature Learning Network for Object Detection

Wenchi Ma, Yuanwei Wu+2 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 40被引用数 8

ひとこと要約

MDFNは、高レベルのネットワーク層からのマルチスケールディープ特徴を活用することで、小形および隠蔽物体の検出を向上させるワンショットオブジェクト検出器を提案する。情報正方形および立方体インセプションモジュールをディープ層に統合することにより、計算コストを最小限に抑えながらセマンティックおよび文脈的表現を強化し、KITTI、VOC、COCOで最先端の精度を達成し、良好な速度-精度トレードオフを実現する。

ABSTRACT

This paper proposes an innovative object detector by leveraging deep features learned in high-level layers. Compared with features produced in earlier layers, the deep features are better at expressing semantic and contextual information. The proposed deep feature learning scheme shifts the focus from concrete features with details to abstract ones with semantic information. It considers not only individual objects and local contexts but also their relationships by building a multi-scale deep feature learning network (MDFN). MDFN efficiently detects the objects by introducing information square and cubic inception modules into the high-level layers, which employs parameter-sharing to enhance the computational efficiency. MDFN provides a multi-scale object detector by integrating multi-box, multi-scale and multi-level technologies. Although MDFN employs a simple framework with a relatively small base network (VGG-16), it achieves better or competitive detection results than those with a macro hierarchical structure that is either very deep or very wide for stronger ability of feature extraction. The proposed technique is evaluated extensively on KITTI, PASCAL VOC, and COCO datasets, which achieves the best results on KITTI and leading performance on PASCAL VOC and COCO. This study reveals that deep features provide prominent semantic information and a variety of contextual contents, which contribute to its superior performance in detecting small or occluded objects. In addition, the MDFN model is computationally efficient, making a good trade-off between the accuracy and speed.

研究の動機と目的

• 低レベルの詳細に依存するのではなく、高レベルの特徴からのセマンティックおよび文脈的情報を活用することで、小形および隠蔽物体の検出の課題に対処する。
• 特に非常に深くまたは広いアーキテクチャにおいて、前方伝搬に伴い特徴表現が劣化する深層ネットワークの限界を克服する。
• 特徴学習を高レベル層に集中させることで計算効率を向上させ、複雑な階層的構造の必要性を低減する。
• ネットワークの深さや幅を増加させず、高レベル層での特徴抽象化を強化することで、軽量ベースネットワーク（VGG-16）を用いても高い性能を達成する。
• 効率的なマルチスケール特徴学習により、高精度とリアルタイム推論速度を両立するワンショット検出器を構築する。

提案手法

• 高レベル層に情報正方形および立方体インセプションモジュールを導入し、マルチスケールの文脈的およびセマンティック特徴を抽出する。
• インセプションモジュールにパラメータ共有を適用することで、計算コストを低減しつつ受容 field のカバー範囲を拡大する。
• 検出ヘッドへの主な入力として、初期層の詳細抽出を回避するため、後段の畳み込み層からのディープ特徴を用いる。
• マルチボックス、マルチスケール、マルチレベル特徴統合技術を統合し、物体サイズにかかわらず局所化および分類性能を向上させる。
• VGG-16に基づく軽量フレームワークを設計し、4つの連続する深層層にインセプションモジュールを追加することで、モデルの深さや幅を著しく増加させずに特徴抽象化を強化する。
• エンドツーエンドで学習し、ワンショット検出フレームワークを用いて、直接的にディープ特徴マップからバウンディングボックスとクラススコアを回帰する。

実験結果

リサーチクエスチョン

• RQ1 高レベル層からのディープ特徴は、特に小形および隠蔽物体に対して、オブジェクト検出性能を顕著に向上させることができるか？
• RQ2 高レベル層に特徴学習を集中させることで、より深くまたは広いネットワークと比較して計算コストを低減しつつ、検出精度を維持または向上させることができるか？
• RQ3 高レベル層に配置されたマルチスケールインセプションモジュールは、物体とその周囲の間のセマンティックおよび文脈的関係を効果的に捉えることができるか？
• RQ4 標準ベンチマーク上での既存のワンステージおよびツーステージ検出器と比較して、MDFNフレームワークの速度-精度トレードオフはどのように評価されるか？
• RQ5 モデル容量を増加させず、深層特徴学習を強化することで、比較的小さなベースネットワーク（例：VGG-16）を用いても最先端の性能を達成できるか？

主な発見

• MDFNはKITTIデータセットで最高の平均平均精度（mAP）を達成し、Faster R-CNN や YOLOv3 など、比較対象のすべての手法を上回った。
• PASCAL VOC 2007 データセットでは、MDFN-I2が35 FPSで88.0%のmAPを達成し、同等の速度を有するワンステージ検出器の中で最高の性能を示した。
• COCOでは、MDFN-I2が300×300入力で35.1%のmAP、58 FPSを達成し、競争力のある精度と高い推論速度を実現した。
• VGG-16ベースのSSDと比較して、パラメータが10%増加したものの、COCOおよびKITTIで推論速度は4%未満の低下、FLOPsは2%未満の増加にとどまった。
• 小形および隠蔽物体の検出においてもモデルの頑健性が確認され、KITTIにおける定性的な結果から、MDFNはSSDが見逃した車両を正しく局所化していることが示された。
• 図6に示すように、精度と速度のトレードオフは安定的かつ有利であり、MDFNは他のモデルと比較してタイトな三角形を形成しており、高い効率性と一貫性を示している。