[论文解读] Crowdsourcing Gaze Data Collection

Dmitry Rudoy, Dan B Goldman+2 more|arXiv (Cornell University)|Apr 16, 2012

Visual Attention and Saliency Detection参考文献 5被引用 19

一句话总结

本文提出了一种低成本、众包的 gaze 方向数据收集方法，通过在视频播放后短暂显示的字符图表，让大量参与者自我报告 gaze 位置。通过将响应与图表布局进行验证，并将结果聚合为热力图，该方法实现了与传统硬件追踪相当的 gaze 数据准确性，尽管观看环境未受控制，但仍能实现可扩展的、全球分布的 gaze 研究。

ABSTRACT

Knowing where people look is a useful tool in many various image and video applications. However, traditional gaze tracking hardware is expensive and requires local study participants, so acquiring gaze location data from a large number of participants is very problematic. In this work we propose a crowdsourced method for acquisition of gaze direction data from a virtually unlimited number of participants, using a robust self-reporting mechanism (see Figure 1). Our system collects temporally sparse but spatially dense points-of-attention in any visual information. We apply our approach to an existing video data set and demonstrate that we obtain results similar to traditional gaze tracking. We also explore the parameter ranges of our method, and collect gaze tracking data for a large set of YouTube videos.

研究动机与目标

• 解决传统 gaze 跟踪硬件在大规模、多样化参与者群体中收集 gaze 数据时成本高昂且可扩展性有限的问题。
• 仅使用标准网页浏览器和互联网接入，实现从近乎无限数量的参与者处收集 gaze 位置数据。
• 开发一种稳健的自我报告机制，确保数据可靠性与空间准确性，且无需特殊设备。
• 验证自我报告的 gaze 数据能否达到与实验室 gaze 跟踪系统结果在统计上相似的程度。
• 探索在不同人口统计特征和观看环境下，使用众包 gaze 数据进行大规模视频分析的可行性。

提出的方法

• 向参与者播放一段时长为 $t_v$ 秒的视频片段，随后立即短暂显示 $t_c$ 秒的字符图表，图表中包含按网格排列的独特符号三元组。
• 参与者报告其最清晰看到的符号三元组，系统将该符号映射到其已知的屏幕位置，作为估计的 gaze 点。
• 利用图表的布局检测并剔除无效响应（例如错误或随机输入），以提高数据质量。
• 通过包含允许半径 $R_a$ 的教程阶段，筛选出注意力不集中或粗心的参与者，从而提高整体数据可靠性。
• 将多名参与者的 gaze 位置聚合为概率密度函数，以热力图形式可视化，显示注意力热点区域。
• 该方法使用三元组密度 $D_r$ 控制图表上符号的空间分布，减少聚类现象，提升空间分辨率。

实验结果

研究问题

• RQ1 通过简单基于网页的界面收集的自我报告 gaze 数据，其准确性是否可与传统硬件 gaze 跟踪相媲美？
• RQ2 与实验室受控环境相比，该众包方法在未受控的真实观看条件下性能如何变化？
• RQ3 基于教程的筛选和响应验证在大规模 gaze 数据收集中能在多大程度上提升数据质量？
• RQ4 尽管 gaze 样本的时间稀疏性较高，该方法能否可靠地捕捉动态视频刺激中的注意力模式？
• RQ5 与受控实验室实验相比，通过众包收集的 gaze 分布在多大程度上具有代表性？

主要发现

• 众包方法生成的 gaze 热力图与传统硬件 gaze 跟踪获得的结果在统计上相似，验证了其准确性，尽管时间分辨率较低。
• 即使仅通过教程测试的前两轮中的参与者，仍能产生高质量的 gaze 数据，表明教程机制能有效促进参与者关注 gaze 位置。
• 使用包含独特三元组的字符图表，实现了 gaze 点的精确空间映射，并支持无效响应的自动检测。
• 该方法在多种观看条件下表现出鲁棒性，包括屏幕分辨率、亮度和观看距离的变化，尽管与实验室环境相比引入了更多变异性。
• 系统成功收集了大量 YouTube 视频的 gaze 数据，实现了传统方法难以实现的全球人口统计相关性分析。
• 研究发现，gaze 模式在屏幕对比度和环境光照变化下存在显著差异，凸显了生态效度与数据一致性之间的权衡。