[论文解读] FixaTons: A collection of Human Fixations Datasets and Metrics for Scanpath Similarity

Dario Zanca, Valeria Serchi+3 more|arXiv (Cornell University)|Feb 7, 2018

Multimodal Machine Learning Applications参考文献 6被引用 6

一句话总结

FixaTons 提供了一个全面的开源人类注视点数据集集合以及一个标准化的扫描路径相似性度量软件库，解决了视觉注意建模中缺乏稳健评估工具的问题。它支持使用时间延迟嵌入和缩放时间延迟嵌入等先进度量方法对扫描路径进行对比分析，提升了在 SIENA12 和 MIT1003 等多样化数据集上对动态性和分辨率不变的相似性评估。

ABSTRACT

In the last three decades, human visual attention has been a topic of great interest in various disciplines. In computer vision, many models have been proposed to predict the distribution of human fixations on a visual stimulus. Recently, thanks to the creation of large collections of data, machine learning algorithms have obtained state-of-the-art performance on the task of saliency map estimation. On the other hand, computational models of scanpath are much less studied. Works are often only descriptive or task specific. This is due to the fact that the scanpath is harder to model because it must include the description of a dynamic. General purpose computational models are present in the literature, but are then evaluated in tasks of saliency prediction, losing therefore information about the dynamics and the behaviour. In addition, two technical reasons have limited the research. The first reason is the lack of robust and uniformly used set of metrics to compare the similarity between scanpath. The second reason is the lack of sufficiently large and varied scanpath datasets. In this report we want to help in both directions. We present FixaTons, a large collection of datasets human scanpaths (temporally ordered sequences of fixations) and saliency maps. It comes along with a software library for easy data usage, statistics calculation and implementation of metrics for scanpath and saliency prediction evaluation.

研究动机与目标

• 解决视觉注意研究中缺乏标准化、稳健的扫描路径比较度量方法的问题。
• 提供一个大型、多样化且公开可访问的人类注视点数据集集合，配备一致的元数据。
• 通过集成的软件工具，实现计算模型扫描路径动态行为的可复现评估。
• 通过归一化空间坐标并支持可变长度扫描路径分析，促进跨数据集比较。
• 通过提供多种、文档齐全的相似性度量方法，推动扫描路径评估的方法一致性。

提出的方法

• 使用高频眼动仪（240 Hz）在校准屏幕上采集人类注视数据，确保高时间和空间精度。
• 使用 PyGazeAnalyser 处理原始眼动数据，提取注视点并生成时间有序的扫描路径。
• 应用时间延迟嵌入，将扫描路径表示为 R^k 中的点云，从而实现对长度不同的序列进行动态比较。
• 通过将注视点坐标归一化到 [0,1]^2，引入缩放时间延迟嵌入距离（stde），以确保分辨率不变性。
• 通过嵌入子序列之间的 MM-距离和 Hausdorff 距离计算相似性，其中 stde 为多个 k 值上的指数平均。
• 提供一个软件库，包含数据检索、可视化、度量计算和扫描路径相似性统计分析的功能。

实验结果

研究问题

• RQ1 当序列长度和时间动态不同时，如何稳健地测量扫描路径相似性？
• RQ2 哪些度量最能捕捉人类视觉探索模式的空间和动态特征？
• RQ3 现有数据集如 MIT1003 和 SIENA12 在多大程度上支持计算扫描路径模型的评估？
• RQ4 归一化的时间延迟度量能否提升不同图像分辨率和观察者行为下扫描路径的可比性？
• RQ5 与传统度量相比，缩放时间延迟嵌入距离（stde）在区分相似与不相似扫描路径方面的表现如何？

主要发现

• FixaTons 数据集包含 SIENA12 的 12 幅灰度图像和 MIT1003 的 1003 幅图像，分别由 23 名和 15 名观察者在标准化自由观看协议下采集。
• stde 度量定义为 $ \exp^{-\frac{1}{|K|}\sum_{k\in K}tde_{k}(s,h)} $，提供一种分辨率不变的相似性度量，值越接近 1 表示相似性越高。
• 时间延迟嵌入距离（tde）通过比较 k 维子序列，有效捕捉了不同长度扫描路径之间的动态相似性。
• 缩放时间延迟嵌入方法将注视点坐标归一化到 [0,1]^2，显著提升了在图像尺寸各异的数据集上的鲁棒性。
• 软件库支持度量、统计和可视化结果的自动化计算，简化了扫描路径预测模型的基准测试。
• 该数据集和度量方法旨在支持可复现研究，配备完整文档，并支持社区贡献更多数据集。