[論文レビュー] FixaTons: A collection of Human Fixations Datasets and Metrics for Scanpath Similarity

Dario Zanca, Valeria Serchi+3 more|arXiv (Cornell University)|Feb 7, 2018

Multimodal Machine Learning Applications参考文献 6被引用数 6

ひとこと要約

FixaTonsは、視覚注意モデルの評価に不足している堅牢な評価ツールに対応するため、人間の注視点データセットの包括的でオープンソースのコレクションと、スキャンパス類似性を標準化したメトリクスを備えたソフトウェアライブラリを提供する。時間遅れ埋め込みとスケーリング済み時間遅れ埋め込みを用いた高度なメトリクスにより、SIENA12 や MIT1003 といった多様なデータセットにおいて、動的で解像度に依存しない類似性評価が可能になる。

ABSTRACT

In the last three decades, human visual attention has been a topic of great interest in various disciplines. In computer vision, many models have been proposed to predict the distribution of human fixations on a visual stimulus. Recently, thanks to the creation of large collections of data, machine learning algorithms have obtained state-of-the-art performance on the task of saliency map estimation. On the other hand, computational models of scanpath are much less studied. Works are often only descriptive or task specific. This is due to the fact that the scanpath is harder to model because it must include the description of a dynamic. General purpose computational models are present in the literature, but are then evaluated in tasks of saliency prediction, losing therefore information about the dynamics and the behaviour. In addition, two technical reasons have limited the research. The first reason is the lack of robust and uniformly used set of metrics to compare the similarity between scanpath. The second reason is the lack of sufficiently large and varied scanpath datasets. In this report we want to help in both directions. We present FixaTons, a large collection of datasets human scanpaths (temporally ordered sequences of fixations) and saliency maps. It comes along with a software library for easy data usage, statistics calculation and implementation of metrics for scanpath and saliency prediction evaluation.

研究の動機と目的

• 視覚注意研究における人間のスキャンパスを比較するための標準的で堅牢なメトリクスの欠如に対処する。
• 一貫したメタデータを備えた、大規模で多様で公開可能な人間の注視点データセットのコレクションを提供する。
• 統合されたソフトウェアツールを通じて、スキャンパスダイナミクスの計算モデルの再現可能評価を可能にする。
• 空間座標の正規化と可変長スキャンパス解析をサポートすることで、データセット間の比較を容易にする。
• 複数の明確に文書化された類似性メトリクスを提供することで、スキャンパス評価におけるメソドロジーや一貫性を促進する。

提案手法

• 240 Hzの高周波数眼動測定器を用いてキャリブレーション済みスクリーン上で人間の注視点データを収集し、時間的・空間的精度を確保する。
• PyGazeAnalyserを用いて生の眼動測定データを処理し、注視点を抽出して時系列順のスキャンパスを生成する。
• 時間遅れ埋め込みを適用して、スキャンパスをR^k内に点群として表現し、長さが異なる系列の動的比較を可能にする。
• 注視点座標を[0,1]^2に正規化することで、解像度に依存しないスケーリング済み時間遅れ埋め込み距離（stde）を導入する。
• 埋め込み部分系列間のMM距離とハウスドルフ距離を計算し、stdeを複数のk値における指数平均として算出する。
• データ取得、可視化、メトリクス計算、スキャンパス類似性の統計解析のための関数を備えたソフトウェアライブラリを提供する。

実験結果

リサーチクエスチョン

• RQ1 長さや時間的ダイナミクスが異なる系列において、スキャンパス類似性をどのように堅牢に測定できるか？
• RQ2 空間的および動的側面の両方を的確に捉えるには、どのメトリクスが最適か？
• RQ3 MIT1003 や SIENA12 といった既存のデータセットが、計算スキャンパスモデルの評価をどの程度サポートできるか？
• RQ4 正規化された時間遅れに基づくメトリクスは、異なる画像解像度や観察者行動の下でスキャンパスの比較性を向上させられるか？
• RQ5 従来のメトリクスと比較して、スケーリング済み時間遅れ埋め込み距離（stde）は、類似したスキャンパスとそうでないスキャンパスをどの程度適切に区別できるか？

主な発見

• FixaTons コレクションには、SIENA12で12枚のグレースケール画像、MIT1003で1003枚の画像が含まれており、それぞれ23名および15名の被験者が参加し、標準化された自由視聴プロrotocolで収集された。
• stde メトリクスは $ \exp^{-\frac{1}{|K|}\sum_{k\in K}tde_{k}(s,h)} $ で定義され、[0,1]^2への正規化により解像度に依存しない類似性測定を提供し、1に近い値は高い類似性を示す。
• 時間遅れ埋め込み距離（tde）は、異なる長さのスキャンパス間の動的類似性を、k次元部分系列の比較によって効果的に捉える。
• スケーリング済み時間遅れ埋め込みアプローチにより、注視点座標が[0,1]^2に正規化され、画像サイズが異なるデータセット間での堅牢性が顕著に向上した。
• ソフトウェアライブラリにより、メトリクスの自動計算、統計解析、可視化が可能となり、スキャンパス予測モデルのベンチマークが簡素化された。
• コレクションとメトリクスは再現可能性を支援するように設計されており、完全なドキュメンテーションとコミュニティによる追加データセットの貢献をサポートする。