[論文レビュー] GazeDPM: Early Integration of Gaze Information in Deformable Part Models

Iaroslav Shcherbatyi, Andreas Bulling+1 more|arXiv (Cornell University)|May 21, 2015

Visual Attention and Saliency Detection参考文献 26被引用数 10

ひとこと要約

本論文では、可変部分モデルフレームワーク内での視覚特徴と人間の注視固定を共同でモデリングする、GazeDPMと呼ばれる新しい早期統合手法を提案する。この手法は、オブジェクト検出性能を顕著に向上させ、POETデータセットにおいてDPMベースラインに対して4.3%のmAP向上を達成し、最近の後期統合手法よりも3.9%のmAP向上を達成する。さらに、モデルの内省的特性を向上させるとともに、注視ノイズや注視マップの置き換えに対しても頑健性を示す。

ABSTRACT

An increasing number of works explore collaborative human-computer systems in which human gaze is used to enhance computer vision systems. For object detection these efforts were so far restricted to late integration approaches that have inherent limitations, such as increased precision without increase in recall. We propose an early integration approach in a deformable part model, which constitutes a joint formulation over gaze and visual data. We show that our GazeDPM method improves over the state-of-the-art DPM baseline by 4% and a recent method for gaze-supported object detection by 3% on the public POET dataset. Our approach additionally provides introspection of the learnt models, can reveal salient image structures, and allows us to investigate the interplay between gaze attracting and repelling areas, the importance of view-specific models, as well as viewers' personal biases in gaze patterns. We finally study important practical aspects of our approach, such as the impact of using saliency maps instead of real fixations, the impact of the number of fixations, as well as robustness to gaze estimation error.

研究の動機と目的

• 注視支援オブジェクト検出における後期統合手法の限界を克服する。具体的には、再検出率の向上が不可能であり、モダリティ間の共同モデリングが欠如している点に起因する。
• 視覚データと注視データを初期段階から統合する共同定式化を構築し、より豊かなモデル内省的特性と注視-視覚依存関係の効果的利用を実現する。
• 現実世界の制約、例えば注視データのノイズや固定記録の欠如といった条件下でも、注視強化検出の実用的妥当性を評価する。
• 画像データのみから生成された注視マップが、実際の固定データに代わって検出性能の向上に寄与するかどうかを調査する。

提案手法

• 可変部分モデル（DPM）を拡張し、統一された確率的定式化を用いて勾配パターンと注視固定パターンを共同でモデリングする。
• 実際の眼動-trackingデータから固定密度マップを構築し、人間の注意の空間的分布を表現する。
• 視覚特徴と注視特徴を統合した単一の判別モデルを構築し、画像コンテンツと観測者の注視に敏感な部分構成を学習する。
• ガウスノイズモデルを用いて注視推定誤差をシミュレートし、現実的なノイズレベルでの頑健性を評価する。
• アブレーションスタディのため、最先端の注視マップ生成モデル（GBVSおよびBMS）を用いて合成注視マップを生成する。
• 学習されたモデル構成を可視化し、注視を引きつける領域や排除する領域、視点別パターン、個々の観察者バイアスを分析する。

実験結果

リサーチクエスチョン

• RQ1 可変部分モデルにおける注視データと視覚データの早期統合は、既存の後期統合手法を上回るオブジェクト検出性能を達成できるか？
• RQ2 実際の固定データではなく、画像データのみから生成された注視マップを用いた場合、本手法の性能はどのように変化するか？
• RQ3 注視推定におけるノイズ、特に現実的なセンサ精度を超える高レベルのノイズに対して、GazeDPMモデルはどの程度頑健であるか？
• RQ4 GazeDPMモデルの内部構造を可視化することで、注視パターンや物体認知に関するどのようなインサイトが得られるか？
• RQ5 個人の注視バイアスや視点別検出パターンは、モデルの性能と解釈可能性にどのように影響を与えるか？

主な発見

• GazeDPMは、POETデータセットにおいて標準DPMベースラインに対して4.3%のmAP向上を達成した。
• 最近の後期統合手法（注視データを用いて検出結果を再スコアリング）よりも、3.9%のmAP向上を達成した。
• 画像高さの約±20%の標準偏差を持つシミュレートされた注視ノイズに対しても、GazeDPMはDPMよりも1%のmAP向上を維持した。
• 実際の固定データの代わりに注視マップを用いた場合、GBVSを用いた場合は0.8%のmAP向上、BMSを用いた場合は1%のmAP向上を達成した。これは、グローバルな注視特徴が実際の注視データに部分的に代われる可能性を示している。
• モデル可視化により、注視に敏感な画像構造が特定され、注視を引きつける領域や排除する領域が同定され、観察者固有のバイアスや視点依存の検出パターンが露呈された。
• 注視推定誤差に対してモデルは頑健であり、現実的なセンサ精度を超える高レベルのノイズを除けば、性能の低下はほとんど観察されなかった。