[論文レビュー] Wave Propagation of Visual Stimuli in Focus of Attention

Lapo Faggi, Alessandro Betti+3 more|arXiv (Cornell University)|Jun 19, 2020

Visual Attention and Saliency Detection参考文献 37被引用数 4

ひとこと要約

本論文は、視覚刺激からの波動伝播に基づき、固定点のループを防ぐために帰還抑制を統合した、生物学的に妥当で空間的・時間的に局所的な視覚的注意の計算モデルを提案する。このモデルは、無限大の波動速度の極限において重力的注意モデルを模倣することで、スキャンパス予測において最先端の性能を達成し、局所的ダイナミクスによって効率的な並列計算を可能にする。

ABSTRACT

Fast reactions to changes in the surrounding visual environment require efficient attention mechanisms to reallocate computational resources to most relevant locations in the visual field. While current computational models keep improving their predictive ability thanks to the increasing availability of data, they still struggle approximating the effectiveness and efficiency exhibited by foveated animals. In this paper, we present a biologically-plausible computational model of focus of attention that exhibits spatiotemporal locality and that is very well-suited for parallel and distributed implementations. Attention emerges as a wave propagation process originated by visual stimuli corresponding to details and motion information. The resulting field obeys the principle of "inhibition of return" so as not to get stuck in potential holes. An accurate experimentation of the model shows that it achieves top level performance in scanpath prediction tasks. This can easily be understood at the light of a theoretical result that we establish in the paper, where we prove that as the velocity of wave propagation goes to infinity, the proposed model reduces to recently proposed state of the art gravitational models of focus of attention.

研究の動機と目的

• 集中した注意計算を避ける生物学的に妥当で局所的な視覚的注意モデルの開発を目的とする。
• 既存の重力的モデルにおけるグローバル計算の制限を克服するため、波動伝播ダイナミクスを導入することを目的とする。
• 局所的な空間的・時間的計算を通じて、効率的で並列的かつ分散型の実装を可能とすることを目的とする。
• 生物学的にインspiredな注意メカニズムと最先端のスキャンパス予測性能のギャップを埋めることを目的とする。

提案手法

• 視覚刺激からの波動伝播として注意をモデル化し、視覚領域全体に信号が広がるのを模倣するために減衰波動方程式を用いる。
• 再び固定点が置かれた領域を訪問しないように、単調に減少する注意の強さ項を用いて帰還抑制を統合する。
• 2次元網膜グリッド上で波動方程式を解くことで空間的に局所的な計算を実現し、力のグローバル合計を回避する。
• 偏微分方程式の枠組みを用いてモデルを形式化し、波動速度が無限大に近づく極限ではポアソン方程式に還元されることを示す。
• グリッドベースの網膜表現上で数値離散化のための明示的有限差分法を用いてモデルを実装する。
• 文字列編集距離（SED）およびスケーリング時間遅れ埋め込み（STDE）を用いたスキャンパス予測タスクでモデルを検証する。

実験結果

リサーチクエスチョン

• RQ1 グローバル計算を避ける局所的で波に基づくプロセスとして、視覚的注意をどのようにモデル化できるか？
• RQ2 波動伝播ダイナミクスと確立された注意の重力的モデルとの関係は何か？
• RQ3 局所的波モデルはスキャンパス予測において最先端の性能を達成できるか？
• RQ4 波動速度は重力的モデルへの収束にどのように影響するか？
• RQ5 波に基づく注意システムにおいて、帰還抑制は固定点のループを防ぐために果たす役割は何か？

主な発見

• 提案された波に基づくモデルは、スキャンパス予測において最先端の性能を達成し、最高のSTDEスコアが0.90に達し、すべてのベースラインモデルを上回る。
• モデルは平均STDEスコアが3.88、最高STDEが0.90を記録し、人間の固定点軌道と強い一致を示している。
• 無限大の波動速度の極限において、モデルはポアソン方程式に収束し、最近の重力的モデルと同等であることを説明している。
• 波モデルは空間的・時間的局所性を示しており、効率的なSIMD並列実装を可能にするとともに、生物学的妥当性を高めている。
• 教師ありモデルであるDeep Gaze IIやSAMですら、このモデルの性能を上回っており、モデルは教師なしであるにもかかわらずスキャンパス予測で優れた性能を発揮している。
• 波動メカニズムは周辺刺激への反応を自然にサポートし、帰還抑制により固定点のループを回避し、動的スキャンパスの現実性が向上している。