[論文レビュー] Active Object Localization in Visual Situations

Max H. Quinn, Anthony D. Rhodes+1 more|arXiv (Cornell University)|Jul 2, 2016

Visual Attention and Saliency Detection参考文献 56被引用数 6

ひとこと要約

本論文は、『犬を散歩させている』などの視覚的状況（例：'walking the dog'）の適応可能な確率的モデルを用いて、検出された特徴に基づいて反復的にオブジェクト候補を改善するアクティブオブジェクト局所化手法を提案する。空間的および意味的関係の事前知識を統合し、リアルタイムで分布を更新することで、新しい公開データセットにおける優れた局所化精度を達成し、文脈に配慮したオブジェクト検出においてベースラインを上回る性能を発揮する。

ABSTRACT

We describe a method for performing active localization of objects in instances of visual situations. A visual situation is an abstract concept---e.g., "a boxing match", "a birthday party", "walking the dog", "waiting for a bus"---whose image instantiations are linked more by their common spatial and semantic structure than by low-level visual similarity. Our system combines given and learned knowledge of the structure of a particular situation, and adapts that knowledge to a new situation instance as it actively searches for objects. More specifically, the system learns a set of probability distributions describing spatial and other relationships among relevant objects. The system uses those distributions to iteratively sample object proposals on a test image, but also continually uses information from those object proposals to adaptively modify the distributions based on what the system has detected. We test our approach's ability to efficiently localize objects, using a situation-specific image dataset created by our group. We compare the results with several baselines and variations on our method, and demonstrate the strong benefit of using situation knowledge and active context-driven localization. Finally, we contrast our method with several other approaches that use context as well as active search for object localization in images.

研究の動機と目的

• 『犬を散歩させている』のような抽象的な視覚的状況におけるアクティブで文脈に配慮したオブジェクト局所化手法の開発。
• 検索中に進化する動的確率的モデルに、空間的および意味的関係の事前知識を統合すること。
• 評価用に人間がアノテートしたバウンディングボックスを含む、新しい公開可能な状況特化型画像データセットの作成。
• 静的または非文脈的ベースラインと比較して、アクティブで適応可能な局所化の利点を示すこと。
• 既存のアクティブ局所化および文脈に配慮した検出手法と本手法を比較すること。

提案手法

• システムは、視覚的状況内（例：『犬を散歩させている人』が犬のリードを握っている）のオブジェクト間の空間的および意味的関係に関する学習済み確率分布を用いる。
• これらの分布を位置の事前分布として用いて、テスト画像上でオブジェクト候補を生成する。
• 推論段階では、システムが候補を能動的にサンプリングし、検出されたオブジェクトに基づいて確率分布を更新することで、適応的な改善を実現する。
• 空間的関係は単変量および多変量正規分布でモデル化され、将来的にはカーネル密度推定やガウス過程への拡張を計画している。
• オракル分類器が候補をスコアリングするが、実世界での導入を想定し、後続で学習済み畳み込みニューラルネットワーク特徴量を統合するようにフレームワークが設計されている。
• システムは、計算コストと検出精度のバランスを取るために、サリエンシーに基づく事前分布を用いて探索をガイドする。

実験結果

リサーチクエスチョン

• RQ1 動的かつ適応可能な視覚的状況の確率的モデルを用いるシステムは、固定または非適応的ベースラインと比較して、オブジェクト局所化の精度を向上させることができるか？
• RQ2 空間的および意味的構造に関する事前知識を統合した場合、アクティブで文脈駆動型のオブジェクト候補生成はどの程度効果的か？
• RQ3 非プロトタイプの視覚的状況（例：『人』を『犬』に置き換える概念的スリップ）において、局所化性能にどのような影響を与えるか？
• RQ4 データ効率性および推論コストの観点から、本システムの性能は強化学習やRNNベースのアクティブ局所化手法と比較してどの程度か？
• RQ5 適応可能な確率的モデルは、同じ抽象的状況の多様な視覚的インスタンスにどの程度一般化可能か？

主な発見

• 提案手法は、低レベルの視覚的キューが曖昧な非プロトタイプのインスタンスにおいて特に顕著に、ベースライン手法を大きく上回るオブジェクト局所化性能を達成する。
• 検出されたオブジェクトに基づいて確率分布を適応的に更新することで、固定事前分布よりもより正確で頑健な局所化が実現される。
• 本研究が公開した新しい『犬の散歩』画像データセット（広範な視覚的変動を捉えつつも概念的整合性を維持）において、優れた性能を示す。
• 実験により、文脈に配慮したアクティブな局所化は、包括的な共起統計に依存する必要を減らし、検出効率を向上させることを示した。
• 重要な関係（例：リード）が欠落している、または誤分類されている失敗事例を同定し、概念的スリップのより柔軟なモデリングの必要性を浮き彫りにした。
• 本手法は、コピーガットのような記号的類推アーキテクチャと統合する可能性を示しており、視覚的状況のより深い概念的理解を支援するものと期待される。