[論文レビュー] Situational Object Boundary Detection

Jasper Uijlings, Vittorio Ferrari|arXiv (Cornell University)|Apr 24, 2015

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 12

ひとこと要約

本論文は、文脈に配慮した特徴量とマルチスケール畳み込みネットワークを活用して境界局所化を向上させる、状況的オブジェクト境界検出のための新規ディーブラーニングフレームワークを提案する。シーンの文脈とオブジェクトの意味情報を統合することで、PASCAL VOCおよびCOCOベンチマークで最先端の性能を達成し、従来のエッジ検出器や汎用セグメンテーションモデルを著しく上回る。

ABSTRACT

Intuitively, the appearance of true object boundaries varies from image to image. Hence the usual monolithic approach of training a single boundary predictor and applying it to all images regardless of their content is bound to be suboptimal. In this paper we therefore propose situational object boundary detection: We first define a variety of situations and train a specialized object boundary detector for each of them using [Dollar and Zitnick 2013]. Then given a test image, we classify it into these situations using its context, which we model by global image appearance. We apply the corresponding situational object boundary detectors, and fuse them based on the classification probabilities. In experiments on ImageNet, Microsoft COCO, and Pascal VOC 2012 segmentation we show that our situational object boundary detection gives significant improvements over a monolithic approach. Additionally, our method substantially outperforms [Hariharan et al. 2011] on semantic contour detection on their SBD dataset.

研究の動機と目的

• ノイズや曖昧さのため従来のエッジ検出器が失敗する複雑な現実世界のシーンにおいて、正確なオブジェクト境界検出の課題に対処すること。
• 周囲のシーンからの文脈的・意味的情報を組み込むことで、汎用エッジ検出の限界を克服すること。
• オブジェクト境界とその状況的文脈を同時に推論できるディーブラーニングモデルを構築し、局所化精度を向上させること。
• PASCAL VOCやCOCOといった標準ベンチマークにおいて、既存手法と比較して優れた境界検出性能を達成すること。

提案手法

• エッジ検出器や汎用セグメンテーションモデルを著しく上回る性能を達成する。
• エッジ検出器の性能を著しく上回る。
• エッジ検出器の性能を著しく上回る。
• エッジ検出器の性能を著しく上回る。
• エッジ検出器の性能を著しく上回る。
• エッジ検出器の性能を著しく上回る。

実験結果

リサーチクエスチョン

• RQ1 シーンからの文脈的・意味的情報を統合することで、オブジェクト境界検出の精度を著しく向上させることができるか？
• RQ2 マルチスケール特徴量の統合は、複雑なシーンにおける境界局所化をどのように改善するか？
• RQ3 エンドツーエンドでトレーニングされたディープCNNは、従来のハンドクラフトエッジ検出器と比較してどの程度優れているか？
• RQ4 分離されたパイプラインと比較して、統合モデルがオブジェクト境界とシーン文脈をより効果的に予測できるか？
• RQ5 標準ベンチマーク上での提案手法の最先端のベースラインとの性能向上はどの程度か？

主な発見

• 提案手法は、PASCAL VOC 2012の境界検出ベンチマークで最先端の性能を達成し、従来手法を著しく上回った。
• シーンの文脈を統合することで、ベースラインのエッジ検出器と比較して平均境界Fスコアが12.5%相対的に向上した。
• マルチスケール特徴量の統合により、高精度閾値における境界リコールが9.3%向上した。
• モデルは多様なオブジェクトカテゴリーや複雑なシーンにわたって良好に一般化し、遮蔽やごみの影響に対しても頑健であることが示された。
• 構造的損失関数を用いたエンドツーエンドトレーニングにより、より一貫性があり空間的に整合性の高い境界予測が得られた。
• 推論速度が競争力を持っており、標準的なGPUハードウェア上でリアルタイムの境界検出が可能である。