[論文レビュー] segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection

Yukun Zhu, Raquel Urtasun+2 more|arXiv (Cornell University)|Feb 15, 2015

Advanced Neural Network Applications参考文献 21被引用数 52

ひとこと要約

本稿では、深層畳み込みニューラルネットワークを用いて、インスタンスセグメンテーションの提案と文脈的特徴を統合するMRFベースのオブジェクト検出フレームワーク、segDeepMを提案する。検出仮説が高品質なセグメンテーション提案から動的に選択・スコアリングされ、バウンディングボックスを繰り返し精緻化されることで、PASCAL VOC 2010でR-CNNに対して4.1%のmAP向上を達成し、最先端手法よりも1.4%向上を示した。これは、深層検出モデルにおけるセグメンテーションと文脈の構造的統合の価値を示している。

ABSTRACT

In this paper, we propose an approach that exploits object segmentation in order to improve the accuracy of object detection. We frame the problem as inference in a Markov Random Field, in which each detection hypothesis scores object appearance as well as contextual information using Convolutional Neural Networks, and allows the hypothesis to choose and score a segment out of a large pool of accurate object segmentation proposals. This enables the detector to incorporate additional evidence when it is available and thus results in more accurate detections. Our experiments show an improvement of 4.1% in mAP over the R-CNN baseline on PASCAL VOC 2010, and 3.4% over the current state-of-the-art, demonstrating the power of our approach.

研究の動機と目的

• 正確なオブジェクトセグメンテーション提案と文脈的手がかりを活用することで、オブジェクト検出の精度を向上させること。
• 初期候補ボックスに依存するのを減らすために、バウンディングボックスの局在化を反復的に精緻化できる仕組みを提供すること。
• より深くまたは大きなネットワークを必要としない計算効率の良いモデルを設計すること。
• 検出のための構造的確率的フレームワークにおいて、セグメンテーションと文脈を効果的に統合できるかを検討すること。
• 欠落したアノテーションが検出性能およびモデルの頑健性に与える影響を評価すること。

提案手法

• オブジェクト検出を、各検出仮説が外観および文脈的特徴をCNNを用いてスコアリングするマーカフ・ランダムフィールド（MRF）における推論問題として定式化する。
• 各検出仮説の候補領域として、CPMCから得られる上位150件の高品質なオブジェクトセグメンテーション提案プールを統合する。
• セグメンテーション提案上で2次統合（O2P）を用いて訓練されたクラス固有の分類器を用い、セグメンテーションと検出の整合性をスコアリングする。
• 検出の再スコアリングとボックスの再位置決めを交互に繰り返す反復的局在化戦略を採用し、空間的整合性を向上させる。
• PASCAL VOCで微調整された7層または16層のCNNから得られる特徴マップを用い、最終畳み込み層の出力を特徴として利用する。
• 最終的な検出を精緻化するために、非最大抑制と信頼度しきい値処理などの後処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 高品質なセグメンテーション提案を検出パイプラインに統合することで、モデルの深さを増さずにmAPを著しく向上させられるか？
• RQ2 文脈的情報とセグメンテーション特徴の統合が、検出の頑健性および局在化精度に与える影響は何か？
• RQ3 反復的バウンディングボックス精緻化が、初期候補提案への依存度をどの程度低減し、検出性能を向上させるか？
• RQ4 欠落または曖昧な正例アノテーションが、現代の深層検出モデルにおける誤検出率に与える影響は何か？
• RQ5 軽量で構造的なMRFベースのセグメンテーションと検出の統合は、パrameter数を減らしても最先端の手法を上回る性能を達成できるか？

主な発見

• 7層ネットワークを用いた場合、segDeepMはPASCAL VOC 2010のテストセットでR-CNNベースラインに対して4.1%のmAP絶対向上を達成した。
• 16層ネットワークを用いた場合、segDeepMはR-CNNに対して4.3%のmAP向上を達成し、同じベンチマークで現在の最先端手法を1.4%上回った。
• 反復的バウンディングボックス予測ステップにより、R-CNNに対して1.4%のmAP向上が得られ、2回の反復で性能が飽和した。
• わずかな追加パラメータで顕著な向上を達成でき、計算オーバーヘッドも最小限に抑えられ、高い性能を維持した。
• 反復的局在化とsegDeepMの完全な統合を組み合わせた場合、1.4%の顕著なmAP向上が観察され、両者の相乗効果が示された。
• 分析の結果、誤検出の多くが欠落または曖昧な正例アノテーションに起因していることが判明し、アノテーション品質が高性能モデルにおける成長の障壁となっていることが浮き彫りになった。