[論文レビュー] State-of-the-Art in Human Scanpath Prediction

Matthias Kümmerer, Matthias Bethge|arXiv (Cornell University)|Feb 24, 2021

Visual Attention and Saliency Detection参考文献 48被引用数 23

ひとこと要約

本論文は、ヒトのスキャンパス予測モデルのための原理的で条件付きの評価フレームワークを導入し、画像の文脈と過去の注視履歴を前提とした各注視点の予測精度を評価する。AUC や対数尤度といった標準的なサリエンシー指標を適用することで、モデル間の公平で解釈可能なベンチマーク評価が可能となり、MIT1003、MIT300、CAT2000 データセットにおける、初めての包括的な最先端分析を確立する。

ABSTRACT

The last years have seen a surge in models predicting the scanpaths of fixations made by humans when viewing images. However, the field is lacking a principled comparison of those models with respect to their predictive power. In the past, models have usually been evaluated based on comparing human scanpaths to scanpaths generated from the model. Here, instead we evaluate models based on how well they predict each fixation in a scanpath given the previous scanpath history. This makes model evaluation closely aligned with the biological processes thought to underly scanpath generation and allows to apply established saliency metrics like AUC and NSS in an intuitive and interpretable way. We evaluate many existing models of scanpath prediction on the datasets MIT1003, MIT300, CAT2000 train and CAT200 test, for the first time giving a detailed picture of the current state of the art of human scanpath prediction. We also show that the discussed method of model benchmarking allows for more detailed analyses leading to interesting insights about where and when models fail to predict human behaviour. The MIT/Tuebingen Saliency Benchmark will implement the evaluation of scanpath models as detailed here, allowing researchers to score their models on the established benchmark datasets MIT300 and CAT2000.

研究の動機と目的

• 標準化された、原理的な評価の欠如に起因するスキャンパス予測モデルの評価の不備を是正すること。
• 各注視点が過去の注視点と画像の文脈に依存する生物学的プロセスに即したモデル評価を実現すること。
• AUC、対数尤度、NSS といった well-established メトリクスを用いて、多様なスキャンパスモデルの公平で定量的な比較を可能にすること。
• 複数の標準データセットにおける現在の最先端モデルの詳細なベンチマーク評価の概要を提供すること。
• 今後のモデル評価と比較を可能にするために、MIT/Tübingen サリエンシー ベンチマークに統合された公開ベンチマークを確立すること。

提案手法

• 完全に生成されたスキャンパスを比較するのではなく、画像と過去のすべての注視点を前提とした次回の注視点位置の条件付き予測によってスキャンパスモデルを評価する。
• モデルの出力として条件付きプライオリティマップを用い、履歴に基づく次回の注視点位置の確率分布を表す。
• AUC、対数尤度、NSS といった標準的なサリエンシー指標を、これらの条件付き予測に直接適用して評価する。
• 対数尤度は確率的モデルのキャリブレーションを評価し、AUC は順位付け性能を評価し、NSS はzスコアに基づく予測精度の評価に用いる。
• 確率的モデルに対して、位置と注視時間の同時条件付き分布をモデル化することで、注視時間の予測をフレームワークに統合する。
• タスクに依存しない評価パイプラインを設計し、タスクラベルを条件として用いることで、タスク駆動型スキャンパス予測への拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存のスキャンパス予測モデルは、画像と過去の注視点を前提とした場合に、次回の注視点をどれほど正確に予測できるか？
• RQ2 AUC、対数尤度、NSS のうち、どのメトリクスがスキャンパスモデルの予測性能を原理的かつ解釈可能に反映しているか？
• RQ3 MIT300 や CAT2000 といった標準ベンチマークデータセットにおいて、異なるスキャンパスモデルの強みと弱みは何か？
• RQ4 条件付き評価フレームワークは、従来のスキャンパス比較手法では見えなかったモデルの失敗モードをどのように明らかにするか？
• RQ5 提案されたフレームワークは、注視時間の予測やタスク依存のスキャンパスをモデル化するために拡張可能か？

主な発見

• 条件付き評価フレームワークにより、注視点選択を逐次的かつ履歴依存的プロセスとしてモデル化することで、より生物学的に妥当で解釈可能なスキャンパスモデルの評価が可能になった。
• 対数尤度と AUC が主なメトリクスとして推奨され、対数尤度は密度キャリブレーションに敏感であり、AUC は分布シフトに対してより頑健である。
• IOR-ROI-LSTM や SceneWalk といったモデルは、空間的バイアスやサッケード長の制約を捉える点で優れた性能を示した。
• ベンチマークにより、多くのモデルがデータセット間で一般化できていないことが判明し、特に一つのデータセットで学習したモデルが別のデータセットでテストされた場合に顕著な分布感受性を示した。
• フレームワークにより、低レベルの画像特徴に過剰に依存するなど、体系的な予測誤りが特定された。
• MIT/Tübingen サリエンシー ベンチマークは、本スキャンパス評価フレームワークを統合し、今後、公開され、再現可能で過学習に強いモデル比較を可能にする。