[論文レビュー] Exploring Person Context and Local Scene Context for Object Detection

Saurabh Gupta, Bharath Hariharan+1 more|arXiv (Cornell University)|Nov 25, 2015

Advanced Image and Video Retrieval Techniques参考文献 30被引用数 20

ひとこと要約

本稿では、人物の周囲の状況（例：人やその付属品であるバット、グローブ、スマートフォンなど）および局所的なシーンの状況（例：マウスとキーボード、モニタの間の空間的関係）を活用することで、特に小さな物体や隠れている物体の検出性能を向上させる2つの文脈に配慮したオブジェクト検出モデルを提案する。空間的に正確で外観に依存する文脈推論を用いることで、CNNベースの最先端の検出器を上回り、COCOでは最大5%の相対的改善が達成され、小さな物体では10%の相対的向上が得られた。

ABSTRACT

In this paper we explore two ways of using context for object detection. The first model focusses on people and the objects they commonly interact with, such as fashion and sports accessories. The second model considers more general object detection and uses the spatial relationships between objects and between objects and scenes. Our models are able to capture precise spatial relationships between the context and the object of interest, and make effective use of the appearance of the contextual region. On the newly released COCO dataset, our models provide relative improvements of up to 5% over CNN-based state-of-the-art detectors, with the gains concentrated on hard cases such as small objects (10% relative improvement).

研究の動機と目的

• 領域提案が失敗するような、小さな、隠れている、または視覚的に曖昧な物体の検出を改善すること。
• オブジェクト間の正確な空間的関係（例：打者のポーズがバットの位置を示す）をモデル化すること。
• 外観に依存する文脈を組み込むこと。例えば、人物が打者であると特定した後にオブジェクトの位置を推定すること。
• グローバルなシーンラベルにとどまらない文脈を探索し、局所的で動的かつ意味的に意味のある関係に焦点を当てる。
• 外観からだけでは分類が難しい物体（例：マウスや野球のバット）の検出を可能にすること。

提案手法

• 人物の文脈モデルは、人物検出とポーズ推定を用いて、人のポーズや外観に基づき、付属品（例：バット、グローブ、スマートフォン）の可能性のある位置を推定する。
• 局所的シーンの文脈モデルは、オブジェクト検出同士の空間的関係（例：マウスがキーボードの下にある、信号機が柱に近い）を用いて検出スコアを精緻化する。
• 文脈特徴は、文脈領域を段階的に追加することで検出スコアを向上させるマルチステージ推論機構を通じて統合される。
• 可視化のための線形版の局所的シーン文脈モデルが用いられ、各ステップで文脈特徴が16/tにスケーリングされて解釈可能性を維持する。
• モデルは事前学習済みのCNN（例：VGG、AlexNet）の特徴を用い、エンドツーエンド学習ではなく、文脈的推論によって領域提案スコアを精緻化する。
• モデルは、外観および空間的構成に基づいて動的に関連する文脈領域を選択することで、ハードウェアに固定されたグローバルまたは局所的文脈を避ける。

実験結果

リサーチクエスチョン

• RQ1 人物とその付属品の正確な空間的関係をモデル化することで、ファッションやスポーツ用の付属品の検出が向上するか？
• RQ2 オブジェクト間の局所的シーン関係（例：マウスとキーボードの関係）をモデル化することで、一般のオブジェクト検出性能が向上するか？
• RQ3 視覚的特徴が弱い小さな物体や隠れている物体に対して、文脈推論がより大きな向上をもたらすか？
• RQ4 領域提案が不十分な状況下で、文脈に基づく検出は、最先端のCNNベースの検出器と比較して優れているか？
• RQ5 文脈推論を用いて、人が使用するオブジェクトと関連付けることで、より豊かなシーン理解が可能になるか？

主な発見

• グランドトゥースボックスを提案プールに追加した場合、局所的シーン文脈モデルはFast R-CNNに比べて1.8ポイントの絶対的改善を示し、提案が悪い状況で文脈の恩恵が最も顕著であることを示している。
• 局所的シーン文脈モデルは、ベースラインに対して最大5%の相対的mAP向上を達成しており、特に「スポーツ」「電子機器」「家電」「屋外」などのスーパークラスに集中している。
• 小さな物体（32×32ピクセル未満）では、VGGを用いた場合、Fast R-CNNに比べて10%の相対的改善（1.7ポイントの絶対的向上）が得られ、AlexNetを用いた場合は32%の相対的向上（2ポイント）が得られた。
• 人物の文脈モデルは、野球のバット、グローブ、カモメなど、標準的な検出器が認識しにくいカテゴリで3ポイント以上の顕著な向上を示した。
• モデルはFast R-CNNが見逃した物体（例：小さな物体や隠れている物体、信号機、トースター、スポーツボール）を、文脈が存在する場合に検出できた。
• 改善は統計的に有意（p < 0.01）であり、深層学習時代においても文脈推論が一貫して測定可能な向上をもたらすことを確認した。