[論文レビュー] How close are we to understanding image-based saliency?

Matthias Kümmerer, Thomas S. A. Wallis+1 more|arXiv (Cornell University)|Sep 26, 2014

Visual Attention and Saliency Detection参考文献 39被引用数 6

ひとこと要約

この論文は、固定点をポイント過程としてモデル化して対数尤度を計算することで、画像ベースの注目度を再評価し、最先端モデルが説明可能な空間的情報の約1/3しか捉えていないことを明らかにした。また、モデルがどこで、なぜ失敗するかを体系的に特定するための原理的でない手法を提案し、空間的注目度がほぼ理解されているという考えを疑問視している。

ABSTRACT

Within the set of the many complex factors driving gaze placement, the properities of an image that are associated with fixations under free viewing conditions have been studied extensively. There is a general impression that the field is close to understanding this particular association. Here we frame saliency models probabilistically as point processes, allowing the calculation of log-likelihoods and bringing saliency evaluation into the domain of information. We compared the information gain of state-of-the-art models to a gold standard and find that only one third of the explainable spatial information is captured. We additionally provide a principled method to show where and how models fail to capture information in the fixations. Thus, contrary to previous assertions, purely spatial saliency remains a significant challenge.

研究の動機と目的

• 自由視認条件下における現在の注目度モデルが、人間の固定点パターンをどの程度うまく説明できるかを評価すること。
• 空間的注目度がほぼ完全に理解されているという一般的な信念を、残りの説明不能な情報の定量的評価によって疑問視すること。
• 注視予測に失敗する空間的領域を特定するための原理的でない手法を開発すること。
• ポイント過程モデルの対数尤度を用いて、情報理論的枠組みで注目度評価を定式化すること。

提案手法

• 人間の固定点をポイント過程としてモデル化し、対数尤度を用いた確率的評価を可能にする。
• 情報量の増加計算のベンチマークとして、ゴールドスタンダードの固定点データセットを用いる。
• 情報理論的指標を用いて、最先端の注目度モデルをゴールドスタンダードと比較する。
• 空間的分解を適用して、モデル誤差が著しい領域を特定し、情報損失を定量化する。
• ゴールドスタンダードデータに含まれる全情報量として、説明可能な空間的情報を計算する。
• 従来の相関係数測定を超えて、尤度に基づく指標を用いてモデルのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端の注目度モデルは、人間の固定点における説明可能な空間的情報のどの程度を捉えているか？
• RQ2 既存のモデルは、特定の空間的領域において、どの程度注視を予測できていないか？
• RQ3 注視予測におけるモデルの失敗を局所化し、定量化するための原理的でない手法を開発できるか？
• RQ4 空間的注目度がほぼ理解されているという仮定は、情報理論的証拠によって裏付けられているか？

主な発見

• 最先端の注目度モデルは、人間の固定点データにおける説明可能な空間的情報の約1/3しか捉えていない。
• 情報理論的評価により、顕著な説明不能な分散が判明し、純粋な空間的注目度が依然として大きな課題であることが示された。
• モデルの失敗は一様に分布しているのではなく、特定の空間的領域に集中しており、体系的に同定可能である。
• ポイント過程モデリングの使用により、従来の指標よりもより厳密で原理的な注目度モデルの評価が可能になった。
• ゴールドスタンダードの固定点データは、現在のモデルが説明できる情報量よりも著しく多くを含んでおり、大きなパフォーマンスギャップが浮き彫りになった。
• 本手法は、モデルの欠陥を分析するための診断ツールを提供し、より良い注目度モデリングへの道筋を示している。