[論文レビュー] A stochastic model of human visual attention with a dynamic Bayesian network

Akisato Kimura, Derek Pang+4 more|arXiv (Cornell University)|Apr 1, 2010

Visual Attention and Saliency Detection参考文献 29被引用数 6

ひとこと要約

本稿では、動的ベイジアンネットワークを用いた確率的視覚的注意モデルを提案し、動画シーンにおける人間の視線注視位置を予測する。粒子フィルタリングとストリーム処理を用いて、局所的刺激の顕著応答と認知的状態のダイナミクスを統合することで、決定論的モデルよりも顕著に高い精度を達成し、ほぼリアルタイム性能（1フレームあたり40–50 ms）を実現した。

ABSTRACT

Recent studies in the field of human vision science suggest that the human responses to the stimuli on a visual display are non-deterministic. People may attend to different locations on the same visual input at the same time. Based on this knowledge, we propose a new stochastic model of visual attention by introducing a dynamic Bayesian network to predict the likelihood of where humans typically focus on a video scene. The proposed model is composed of a dynamic Bayesian network with 4 layers. Our model provides a framework that simulates and combines the visual saliency response and the cognitive state of a person to estimate the most probable attended regions. Sample-based inference with Markov chain Monte-Carlo based particle filter and stream processing with multi-core processors enable us to estimate human visual attention in near real time. Experimental results have demonstrated that our model performs significantly better in predicting human visual attention compared to the previous deterministic models.

研究の動機と目的

• 同一の刺激に対して個々の人が異なる場所に注視するという、人間の視覚的注意の非決定的性質に対処する。
• 1つの刺激に対して固定された1つの注視点を仮定する決定論的顕著度モデルの限界を克服する。
• 下位から上位への顕著度と上位から下位への認知的状態を統合した確率的フレームワークを構築し、注視の可能性を予測する。
• 動画処理やコンピュータビジョンにおける実用的応用を想定し、人間の視覚的注意をリアルタイムで推定可能にする。
• イッティの顕著度マップやベイジアンサプライスといった既存モデルを超える予測精度を向上させるために、注視応答の不確実性をモデル化する。

提案手法

• 視覚的注意の時間的変化を隠れマルコフ過程としてモデル化する4層の動的ベイジアンネットワーク（DBN）を定式化する。
• 信号検出理論を用いて下位から上位への顕著応答を統合し、ターゲットとノイズの両方にガウス分布を仮定した確率的プロセスとして検出をモデル化する。
• 事前注視状態に基づいて眼動画の予測を生成する状態空間モデルを用いて、上位から下位への認知的状態をモデル化する。
• サンプルベースの推論としてマルコフ連鎖モンテカルロ（MCMC）に基づく粒子フィルタリングを適用し、注視位置の事後分布を推定する。
• マルチコアアーキテクチャ上でのストリーム処理を活用し、1フレームあたり40–50 msのほぼリアルタイムの推論を実現する。
• 顕著度の尤度と認知的状態の尤度を統合し、結合尤度モデルを構築することで、最も確率の高い注視領域を推定する。

実験結果

リサーチクエスチョン

• RQ1 確率的モデルは、決定論的顕著度モデルと比較して、人間の視覚的注意の非決定的性質をどのようによりよく捉えることができるか？
• RQ2 認知的状態のダイナミクスを統合することで、動画シーケンスにおける注視予測精度はどの程度向上するか？
• RQ3 動的ベイジアンネットワークフレームワークは、リアルタイム性能を満たしつつ、視覚的注意の時間的進化を効果的にモデル化できるか？
• RQ4 提案手法は、イッティの顕著度マップやベイジアンサプライスといった既存の決定論的モデルと比較して、定量的にどの程度人間の注視を正確に予測できるか？
• RQ5 処理時間の観点から、提案手法の計算効率はどの程度で、ほぼリアルタイム動作を達成できるか？

主な発見

• 提案された確率的モデルは、すべての3つのベースラインモデル（分散、CIOFM、サプライス）よりも顕著に高い平均NSSスコアを達成し、優れた予測精度を示した。
• 大多数の動画クリップにおいて、提案モデルは既存モデルを上回るか同等の性能を示し、NSSスコアが常に0以上で、しばしば1を上回った。これは、注視予測が人間の注視点から1標準偏差以内に収まっていることを示している。
• 提案モデルは、イッティモデルが複数の大きな顕著領域を生成するのに対し、より正確で局所的な注視マップを生成した。
• GPUアクセcelerationを用いない状態でも、平均して1フレームあたり40–50 msのほぼリアルタイム性能を達成した。
• CUDAアクセcelerationを適用した場合でも、処理時間は類似したままであり、現代のハードウェア上でスケーラブルであることが示された。
• 信号検出理論と認知的状態モデリングの統合により、注視応答の不確実性を考慮でき、より強固で生物学的に妥当な予測が可能になった。