[論文レビュー] Can Peripheral Representations Improve Clutter Metrics on Complex Scenes

Arturo Deza, Miguel P. Eckstein|arXiv (Cornell University)|Jan 1, 2016

Visual Attention and Saliency Detection被引用数 7

ひとこと要約

本論文では、周辺視覚処理を統合することで、複雑なシーンにおけるごみの予測を改善する、焦点化されたごみモデル、Foveated Feature Congestion (FFC) を提案する。特徴ごみに、非線形的な洞所依存のゲイン（PIFC係数）を適用することで、FFCはターゲット検出性能との相関が著しく強くなる（r = −0.82）のに対し、非焦点化モデルでは相関が弱い（r = −0.19）ことが示され、焦点化がごみ認識において重要な役割を果たしていることを裏付けている。

ABSTRACT

Previous studies have proposed image-based clutter measures that correlate with human search times and/or eye movements. However, most models do not take into account the fact that the effects of clutter interact with the foveated nature of the human visual system: visual clutter further from the fovea has an increasing detrimental influence on perception. Here, we introduce a new foveated clutter model to predict the detrimental effects in target search utilizing a forced fixation search task. We use Feature Congestion (Rosenholtz et al.) as our non foveated clutter model, and we stack a peripheral architecture on top of Feature Congestion for our foveated model. We introduce the Peripheral Integration Feature Congestion (PIFC) coefficient, as a fundamental ingredient of our model that modulates clutter as a non-linear gain contingent on eccentricity. We finally show that Foveated Feature Congestion (FFC) clutter scores (r(44) = −0.82 ± 0.04, p < 0.0001) correlate better with target detection (hit rate) than regular Feature Congestion (r(44) = −0.19 ± 0.13, p = 0.0774) in forced fixation search; and we extend foveation to other clutter models showing stronger correlations in all cases. Thus, our model allows us to enrich clutter perception research by computing fixation specific clutter maps. Code for building peripheral representations is available.

研究の動機と目的

• 既存のごみモデルが、周辺の混雑が進行的に悪影響を及ぼす人間の視覚の焦点化特性を無視しているという限界に対処する。
• 洞所依存の知覚劣化を考慮した、焦点化されたごみモデルを開発する。
• 強制的固定視線タスクにおける、計算上のごみ指標と人間のパフォーマンスの相関を向上させる。
• 既存のごみ指標に周辺表現を統合することで、固定視線に特化したごみマップの生成を可能にする。

提案手法

• 空間的に変化するごみ効果をモデル化するため、周辺アーキテクチャを追加して非焦点化された特徴ごみモデルを拡張する。
• 洞所からの距離に応じてごみを調整する非線形ゲイン関数として、Peripheral Integration Feature Congestion (PIFC) 係数を導入する。
• PIFC係数を用いて、固定点からの距離に応じて特徴ごみの値を再重み付けする。
• 洞所依存の重み付けを用いて中心と周辺のごみ推定値を組み合わせることで、Foveated Feature Congestion (FFC) スコアを構築する。
• 人間被験者を用いた強制的固定視線タスクにより、モデルを検証し、ヒット率を測定する。
• 焦点化アプローチを他のごみモデルにも適用し、一貫したパフォーマンス向上を示す。

実験結果

リサーチクエスチョン

• RQ1 周辺視覚処理を組み込むことで、複雑なシーンにおけるごみ指標の予測力が向上するか？
• RQ2 洞所依存のごみモジュレーションは、強制的固定視線タスクにおけるターゲット検出パフォーマンスにどのように影響するか？
• RQ3 焦点化されたごみモデルは、非焦点化モデルよりも人間の探索行動と相関を示すか？
• RQ4 PIFC係数は、固定視線位置への感度をどの程度向上させるか？

主な発見

• FFC ごみスコアは、ターゲット検出ヒット率と強い負の相関を示す（r(44) = −0.82 ± 0.04, p < 0.0001）、高い予測精度を示している。
• 非焦点化された特徴ごみモデルは、検出パフォーマンスと弱く有意でない相関を示す（r(44) = −0.19 ± 0.13, p = 0.0774）。
• 焦点化アプローチは、特徴ごみに限らず、複数のごみモデルにおいて人間のパフォーマンスとの相関を向上させる。
• PIFC係数は、洞所が高くなるにつれてごみの悪影響が増大することを効果的に捉えている。
• 本モデルにより、固定視線に特化したごみマップの生成が可能となり、視覚認識の空間的モデリングが向上する。
• 周辺表現を構築するためのコードは公開されており、再現性と拡張性を支援している。