[論文レビュー] Learning a time-dependent master saliency map from eye-tracking data in videos

Antoine Coutrot, Nathalie Guyader|arXiv (Cornell University)|Feb 2, 2017

Visual Attention and Saliency Detection参考文献 83被引用数 8

ひとこと要約

本稿では、動画の眼動-trackingデータを用いて、最大尤度推定および縮小法（Lasso/EM）を用いて、時間的・カテゴリ的依存性を持つ注目度特徴マップの融合を提案する。最適な特徴重み（中心バイアス、動的注目度、顔など）は、時間経過とともに著しく変化し、また動画のカテゴリによっても異なることが示され、定数重みの融合モデルを上回る性能を発揮する。

ABSTRACT

To predict the most salient regions of complex natural scenes, saliency models commonly compute several feature maps (contrast, orientation, motion...) and linearly combine them into a master saliency map. Since feature maps have different spatial distribution and amplitude dynamic ranges, determining their contributions to overall saliency remains an open problem. Most state-of-the-art models do not take time into account and give feature maps constant weights across the stimulus duration. However, visual exploration is a highly dynamic process shaped by many time-dependent factors. For instance, some systematic viewing patterns such as the center bias are known to dramatically vary across the time course of the exploration. In this paper, we use maximum likelihood and shrinkage methods to dynamically and jointly learn feature map and systematic viewing pattern weights directly from eye-tracking data recorded on videos. We show that these weights systematically vary as a function of time, and heavily depend upon the semantic visual category of the videos being processed. Our fusion method allows taking these variations into account, and outperforms other state-of-the-art fusion schemes using constant weights over time. The code, videos and eye-tracking data we used for this study are available online: http://antoinecoutrot.magix.net/public/research.html

研究の動機と目的

• 注目度モデルにおける静的で時間に依存しない特徴重みの限界を克服し、動的な視覚的探索パターンを捉えること。
• 実際の眼動-trackingデータから、複数の特徴マップ（例：動き、コントラスト、中心バイアス）の時間変動重みと体系的な視認バイアスを同時に学習すること。
• 動画の時間経過と意味的動画カテゴリ（例：風景対顔のあるシーン）に応じて、特徴マップの寄与度がどのように変化するかを調査すること。
• 動画刺激における時間的ダイナミクスと意味的文脈をモデル化することで、注目度予測の精度を向上させること。
• 異なる観察者グループ（例：文化的・性別的差異）の眼動データから学習することで、集団特有の注目度モデリングを可能にすること。

提案手法

• K 個の特徴マップの時間的変動重みを同時に推定するために、最大尤度推定と縮小法（Lasso および 潜在変数法）を用いた。
• 多様な動画刺激を視聴する被験者の眼動データを用いてモデルを学習し、重みを時間チャンク（例：40 ms または 15 フレームごと）ごとに更新した。
• マスターマップを重み付き線形結合として定式化した：$ S = igsum_{k=1}^{K} eta_k^{(t)} M_k $、ここで $ eta_k^{(t)} $ は時間に依存する重みである。
• Lasso正則化を適用してスパarsityを促進し、過学習を防いだ。一方、EMは重み推定の収束性と安定性を向上させた。
• 交差検証を用いてモデルを検証し、最先端の定数重み融合モデルと性能を比較した。
• 動画の意味的カテゴリ（例：風景、複数の移動物体、顔）を、重みダイナミクスに影響を与える文脈要因として組み込んだ。

実験結果

リサーチクエスチョン

• RQ1 動画視聴中に、ボトムアップ的およびトップダウン的注目度特徴（例：動き、コントラスト、中心バイアス）の相対的寄与度は、どのように時間経過とともに変化するか？
• RQ2 特徴マップの重みは、処理中の動画の意味的コンテンツや視覚的カテゴリにどれほど依存するか？
• RQ3 時間依存的でデータ駆動型の注目度マップ融合は、従来の定数重み融合モデルを上回り、視線行動を予測する上で優れているか？
• RQ4 体系的な視認バイアス（例：中心バイアス）は、複雑なシーンの視覚的探索中にどのように動的に変化するか？
• RQ5 異なる観察者集団（例：文化、年齢、性別）に適応可能か？ そのような集団の眼動データから学習することで、モデルをその集団に適合可能か？

主な発見

• 特徴マップの重みは強く時間的ダイナミクスを示す：最初の600 ms（15 フレーム）で中心バイアスが支配的となり、以降は一定の水準に落ち着く。
• 移動物体や人間の顔を含む動画では、動的注目度および顔特徴の重みが高くなるが、静的注目度の重みはすべてのカテゴリで一貫して低く保たれる。
• 時間的変動重みを用いたモデルは、多様な動画刺激において、あらゆる定数重み融合ベースラインを上回る視線位置予測性能を示した。
• 顔が豊富な動画では、顔領域が記録された固定点の約80％を占め、動的注目度の重みは中心バイアスの重みよりも顕著に高い。
• 本手法は、中心バイアスなどの眼運動バイアスを的確に捉え、意味的コンテンツに適応可能であり、動画カテゴリ全体にわたり高い頑健性を示した。
• 本アプローチにより、集団特有の注目度モデリングが可能であることが実証された。文化的な違い（例：アメリカ人と中国人）による物体固定行動の重みダイナミクスの差が観察された。