[論文レビュー] DenseBox: Unifying Landmark Localization with End to End Object Detection

Lichao Huang, Yi Yang+2 more|arXiv (Cornell University)|Sep 16, 2015

Advanced Neural Network Applications参考文献 42被引用数 454

ひとこと要約

DenseBoxは、すべての画像領域およびスケールにおいてバウンディングボックスとクラス信頼度を直接予測する、統合的でエンドツーエンドの完全畳み込みニューラルネットワーク（FCN）を提案する。マルチタスク学習によるランドマーク検出を統合することで、MALF（顔検出）やKITTI（車両検出）といった困難なベンチマークで最先端の性能を達成し、MALFでは平均リcallが87.26%、KITTIのマイルドセットでは平均精度が85.74%を記録した。

ABSTRACT

How can a single fully convolutional neural network (FCN) perform on object detection? We introduce DenseBox, a unified end-to-end FCN framework that directly predicts bounding boxes and object class confidences through all locations and scales of an image. Our contribution is two-fold. First, we show that a single FCN, if designed and optimized carefully, can detect multiple different objects extremely accurately and efficiently. Second, we show that when incorporating with landmark localization during multi-task learning, DenseBox further improves object detection accuray. We present experimental results on public benchmark datasets including MALF face detection and KITTI car detection, that indicate our DenseBox is the state-of-the-art system for detecting challenging objects such as faces and cars.

研究の動機と目的

• 領域提案の生成を伴わないエンドツーエンドのオブジェクト検出を実現する、単一の完全畳み込みニューラルネットワークの開発。
• 顔や遠く離れた車両など、小さな物体や重度に隠蔽された物体の検出精度の向上。
• マルチタスク学習を通じてランドマーク検出を統合することで、オブジェクト検出性能が向上するかの調査。
• 洗練されたネットワーク設計とハードネガティブマイニングの有効性を、困難なベンチマークで高い精度を達成する上で示すこと。

提案手法

• すべての空間的位置およびスケールで、1回の順伝播計算でオブジェクトのバウンディングボックスとクラス信頼度を予測する完全畳み込みニューラルネットワーク（FCN）の設計。
• 小さな物体や隠蔽された物体の検出を改善するため、慎重なハードネガティブマイニングを適用したエンドツーエンド学習の実施。
• 検出ヘッドと共通する特徴を共有するように、ランドマーク検出をマルチタスクヘッドとして統合し、特徴学習の向上を図る。
• KITTIデータセットの27%の車両に、8つのキーポイントランドマークをアノテーションして、検出と同時に学習可能にする。
• KITTIの厳しい70%オーバーラップ基準に適合するよう、IOU閾値0.75を用いた非最大抑制（NMS）を後処理に適用。
• 異なるバッチイテレーションで学習された複数のDenseBoxモデルをアンサンブルすることで、さらなる性能向上を実現。

実験結果

リサーチクエスチョン

• RQ1 領域提案の生成を伴わないエンドツーエンドのオブジェクト検出において、単一の完全畳み込みネットワークが最先端の性能を達成できるか。
• RQ2 マルチタスク学習によるランドマーク検出の統合が、小さな物体や隠蔽された物体の検出精度にどのように影響するか。
• RQ3 ハードネガティブマイニングが、小スケールおよび重度に隠蔽された物体の検出性能をどの程度向上させるか。
• RQ4 困難なオブジェクトスケールや外観を有するベンチマークにおいて、DenseBoxはR-CNNベースや2段階検出器と比較してどの程度の性能を示すか。
• RQ5 実世界のデータセット（例：KITTI）において、部分的なランドマークアノテーション（27%）が検出性能に与える影響は何か。

主な発見

• MALF顔検出ベンチマークにおいて、DenseBoxは87.26%の平均リcallを達成し、DDFDを約10%上回った。
• KITTI車両検出ベンチマークでは、マイルドセットで85.74%の平均精度を記録し、従来の手法（Regionlets や spCov_LBP）を上回った。
• ランドマーク検出の統合により、KITTIデータセットでは平均精度が0.9%向上したが、ランドマークがアノテーションされた車両は27%にとどまった。
• ImageNetで事前学習されたGoogLeNetを用いたR-CNNベースのDeepInsightと比較して、KITTIのマイルドセットでは85.74%（DenseBox）対84.40%（DeepInsight）の平均精度を達成し、DenseBoxが優れた性能を示した。
• 異なるバッチイテレーションで学習された10種類のDenseBoxバリアントをアンサンブルすることで、さらに性能が向上した。これは、予測の多様性とロバストネスが非常に高いことを示している。
• 複雑なシーンにおける小さな物体や隠蔽された物体への一般化性能は強く、一部のオブジェクトを逃す場合や誤検出が発生する場合があるが、全体として高い性能を示した。