[論文レビュー] A probabilistic tour of visual attention and gaze shift computational models

Giuseppe Boccignone|arXiv (Cornell University)|Jul 5, 2016

Gaze Tracking and Assistive Technology参考文献 5被引用数 5

ひとこと要約

本稿は、認知的・感情的・実行的制御要因を統合することで、能動的ビジョンにおける視覚的注意と視線移動を確率的枠組みでモデル化する手法を提案する。潜在的な感情状態を動的ベイジアンネットワークに埋め込むことで、下位互換の顕著性モデルを超えて、自然な状況下における目的志向的目の動きを統一的かつ原理的・一貫した形で説明する。

ABSTRACT

In this paper a number of problems are considered which are related to the modelling of eye guidance under visual attention in a natural setting. From a crude discussion of a variety of available models spelled in probabilistic terms, it appears that current approaches in computational vision are hitherto far from achieving the goal of an active observer relying upon eye guidance to accomplish real-world tasks. We argue that this challenging goal not only requires to embody, in a principled way, the problem of eye guidance within the action/perception loop, but to face the inextricable link tying up visual attention, emotion and executive control, in so far as recent neurobiological findings are weighed up.

研究の動機と目的

• 現在の顕著性モデルが眼の動きを純粋に下位互換的とみなすという限界を是正すること。これは、目的志向的および感情的要因を無視している。
• 眼の動き予測を、知覚・行動・感情を統合する確率的グラフィカルモデル（PGM）内に再定式化すること。
• 感情の価値と覚醒度が神経生物学的に妥当な経路を通じて視線移動にどのように影響を与えるかを調査すること。
• 行動／知覚ループにおける認知的制御と知覚的評価の間を媒介する、動的で潜在的な感情空間を提唱すること。
• 'ピクセルから述語へ'のパラダイムを超えて、計算モデルに状況的で目的志向的な知覚を埋め込むこと。

提案手法

• 動的ベイジアンネットワーク（DBN）を用いて眼の動きを確率的推論問題として形式化し、行動／知覚ループを時間発展するPGMとしてモデル化する。
• 価値と覚醒度というコアな感情次元を表す潜在的感情変数 𝒆(t) を導入し、視線移動の意思決定を動的に調整する。
• 神経生物学的証拠を根拠に、下位互換の顕著性、上位互換の注意、感情的調節の相互作用をPGM内の条件付き依存関係でモデル化する。
• 固定点の予測に後験分布 P(𝐫_F(t) | 𝐈, 𝒆(t), 𝒄(t)) を用いる。ここで 𝒄(t) は認知的制御、𝒇(t) は感情状態を表す。
• 扁桃体、前頭眼皮皮質（OFC）、腹側腹側被蓋野（vTA）、前扣帯皮質（ACC）、基底側脳室傍部といった神経解剖学的経路をPGMに組み込み、注意に及ぼす神経調節的効果をモデル化する。
• 生成的アプローチを採用し、視線移動が画像特徴だけでなく、感情、目的、知覚入力の相互作用によって駆動されることを反映する。

実験結果

リサーチクエスチョン

• RQ1 下位互換の顕著性と上位互換の目的の両方を考慮する確率的枠組み内で、視覚的注意と視線移動のモデルをどのように統合できるか。
• RQ2 感情の価値と覚醒度が眼運動行動に果たす役割は何か。そして、それがどのように計算的にモデル化できるか。
• RQ3 行動／知覚ループを、感情的および認知的制御要因を含む動的確率的グラフィカルモデルとして形式化するにはどうすればよいか。
• RQ4 現在の顕著性モデルが現実世界のタスクにおいて眼の動きを予測できない理由は何か。そして、欠落している主要な要素は何か。
• RQ5 潜在的な感情状態をPGMに埋め込むことで、知覚的評価と行動選択の間を媒介できるか。

主な発見

• 現在の視覚的注意の計算モデルは、現実世界の能動的ビジョンには不十分である。これは、感情・認知・行動の統合を無視しているためである。
• 神経生物学的証拠から、扁桃体と後方腹側前頭眼皮皮質（OFC）が感情的注意調節のコアな回路を形成していることが示され、これは標準的な顕著性モデルでは捉えられていない。
• 行動／知覚ループに潜在的感情状態 𝒆(t) を統合することで、特に感情的に顕著なシーンにおいて、より現実的で文脈に敏感な視線予測が可能になる。
• 感情的コンテンツは、刺激駆動の顕著性だけでなく、上位互換の調節によっても視線移動に影響を与え、認知的制御と感情的制御の境界を曇らせる。
• 提案されたPGMフレームワークにより、視線移動の生成的モデリングが可能となり、知覚的入力と感情状態が固定点の系列を共同で決定する。
• このモデルは、シーンの'意味'が画像データに内在するのではなく、状況的で動的なループにおける知覚・感情・行動の相互作用から生じると示唆している。