[論文レビュー] Predicting Gaze in Egocentric Video by Learning Task-dependent Attention Transition

Yifei Huang, Minjie Cai+2 more|arXiv (Cornell University)|Mar 24, 2018

Visual Attention and Saliency Detection参考文献 38被引用数 9

ひとこと要約

本論文は、再帰ニューラルネットワークを用いて学習されたタスク依存の注目転移とボトムアップの注目度を統合するハイブリッドディープラーニングモデルを提案し、エゴセントリックな視線予測を実現する。タスク文脈に基づいた視線凝集の時間的シフトをモデル化することで、公開のエゴセントリックデータセットにおいて最先端の性能を達成し、注目度のみのベースラインを著しく上回り、意味のあるタスク認識の注目転移学習を示している。

ABSTRACT

We present a new computational model for gaze prediction in egocentric videos by exploring patterns in temporal shift of gaze fixations (attention transition) that are dependent on egocentric manipulation tasks. Our assumption is that the high-level context of how a task is completed in a certain way has a strong influence on attention transition and should be modeled for gaze prediction in natural dynamic scenes. Specifically, we propose a hybrid model based on deep neural networks which integrates task-dependent attention transition with bottom-up saliency prediction. In particular, the task-dependent attention transition is learned with a recurrent neural network to exploit the temporal context of gaze fixations, e.g. looking at a cup after moving gaze away from a grasped bottle. Experiments on public egocentric activity datasets show that our model significantly outperforms state-of-the-art gaze prediction methods and is able to learn meaningful transition of human attention.

研究の動機と目的

• 動的でエゴセントリックな動画における視線予測を、注目転移のタスク依存パターンをモデル化することで向上させること。
• 高レベルの文脈が視線行動に影響を与える複雑でタスク駆動のシーンにおいて、注目度ベースのモデルの限界を解消すること。
• 視線凝集の時間的依存性を、注目領域間の転移を捉える再帰ネットワークを用いて学習すること。
• ボトムアップの注目度と学習されたタスク固有の注目ダイナミクスを統合し、予測精度を向上させること。
• キッチン環境における異なる操作タスクにわたる注目転移モジュールの一般化可能性を検証すること。

提案手法

• 2ストリームのCNNがエゴセントリック動画フレームからボトムアップの注目度マップを生成する。
• 再帰ニューラルネットワークが、以前に凝集された領域と頭部の動きを入力として用い、タスク依存の注目転移をモデル化する。
• 凝集状態予測器が、過去の注目状態と運動の手がかりに基づき、特定の領域に視線が凝集する可能性を推定する。
• 完全畳み込みネットワークが注目度マップと注目マップを統合し、最終的な視線予測ヒートマップを生成する。
• 注目転移モジュールは、中間のCNN層（例：conv5_3）の特徴表現を用い、現在の凝集特徴から次の凝集領域を予測する。
• 注目度と注目モジュールのラテナル統合により、両者の相補的特長を活かして性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 注目度のみのモデルと比較して、タスク依存の注目転移をモデル化することで、エゴセントリック動画における視線予測精度が向上するか？
• RQ2 同じ環境における異なるエゴセントリック操作タスクにわたって、注目転移モジュールはどの程度一般化できるか？
• RQ3 時間的凝集シーケンスから、意味のあるタスク固有の視線転移パターンをモデルがどの程度学習できるか？
• RQ4 ボトムアップの注目度とトップダウンの注目転移の統合は、単独で使用した場合よりも優れた性能をもたらすか？
• RQ5 多様なタスクで訓練された場合でも、注目転移モジュールは次の凝集領域を高い正確性で予測できるか？

主な発見

• 提案モデルは、GTEA Gaze PlusおよびEGTEA Gaze+データセットの両方で最先端の性能を達成し、既存の注目度ベースおよび注目ベースの手法を上回っている。
• 注目転移（AT）モジュールは、conv5_3層の特徴を用いる場合、次の凝集領域を予測する精度が86.8%に達し、ランダムベースライン（10.7%）を著しく上回っている。
• 注目度予測（SP）とタスク依存の注目転移（AT_d）のラテナル統合は、SP単体よりも性能を向上させ、AT_dが異なるタスクで訓練された場合でも同様に有効である。
• AT_sバージョン（同じタスクで訓練・テスト）はSPを上回り、タスク固有の転移パターンが非常に予測可能であることを示している。
• 定性的な例では、モデルの注目転移モジュールが、一貫性があり文脈的に関連する注目シフトを的確に予測している。
• クロスタスクの検証では、AT_dが妥当に一般化されており、SP+AT_dがSPおよびAT_sの両方を上回る性能を示しており、2つのコンポonentが相補的であることを確認している。