[论文解读] Eye movement simulation and detector creation to reduce laborious parameter adjustments

Wolfgang Fuhl, Thiago Santini+4 more|arXiv (Cornell University)|Mar 28, 2018

Gaze Tracking and Assistive Technology参考文献 49被引用 11

一句话总结

本文提出了一种基于机器学习的眼动检测框架，利用物理信息模拟器生成注视、扫视和平稳追踪的合成速度轮廓，从而实现对采样率变化不敏感的鲁棒检测器训练。该方法在多个数据集上均优于最先进算法，在检测准确率方面表现优异，且在所有运动类型上均实现平衡性能，无需手动参数调优。

ABSTRACT

Eye movements hold information about human perception, intention and cognitive state. Various algorithms have been proposed to identify and distinguish eye movements, particularly fixations, saccades, and smooth pursuits. A major drawback of existing algorithms is that they rely on accurate and constant sampling rates, impeding straightforward adaptation to new movements such as micro saccades. We propose a novel eye movement simulator that i) probabilistically simulates saccade movements as gamma distributions considering different peak velocities and ii) models smooth pursuit onsets with the sigmoid function. This simulator is combined with a machine learning approach to create detectors for general and specific velocity profiles. Additionally, our approach is capable of using any sampling rate, even with fluctuations. The machine learning approach consists of different binary patterns combined using conditional distributions. The simulation is evaluated against publicly available real data using a squared error, and the detectors are evaluated against state-of-the-art algorithms.

研究动机与目标

• 解决现有眼动检测算法因采样率变化和噪声导致的参数敏感性与泛化能力不足的问题。
• 通过基于模拟眼动轮廓训练的数据驱动检测器，减少对人工标注和启发式阈值设定的依赖。
• 开发一种灵活的仿真框架，能够对扫视建模为具有伽马分布峰值速度，对平稳追踪建模为具有S型起始特征。
• 在无需金标准标注数据的情况下，实现对新型或罕见眼动类型（如倾斜扫视）的检测器训练。
• 构建一个支持离线与在线检测的系统，并可利用已知速度轮廓对检测结果进行验证与优化。

提出的方法

• 模拟器基于实证眼动数据，使用伽马分布生成扫视的速度轮廓，使用S型函数生成平稳追踪的起始轮廓。
• 系统模拟可变且波动的采样率，允许在真实、非均匀采样的数据上进行训练，无需恒定帧率。
• 通过可配置的概率分布模拟噪声、采样抖动和追踪器不准确性，以反映真实眼动仪的局限性。
• 采用基于随机蕨的机器学习流程，结合十个二元决策模式与条件概率分布，学习鲁棒检测器。
• 检测器仅在模拟数据上进行训练，并在真实标注数据集上进行评估，无需后处理或分割。
• 该方法实现了端到端的训练与评估，无需依赖人工阈值调优或特定数据的初始化。

实验结果

研究问题

• RQ1 基于仿真的方法能否生成准确反映生物眼动行为的逼真眼动速度轮廓？
• RQ2 仅在模拟数据上训练的机器学习检测器，能否在多种采样率下实现对真实眼动追踪数据的竞争力表现？
• RQ3 所提出方法在无需人工标注的情况下，对新型眼动类型（如倾斜扫视）的泛化能力达到何种程度？
• RQ4 与最先进算法相比，所提检测器在注视、扫视和追踪三类运动类型上的检测准确率与平衡性表现如何？
• RQ5 在真实眼动追踪应用中常见的可变且波动的采样率条件下，该系统能否保持鲁棒性？

主要发现

• 在GazeCom数据集上，所提检测器对注视的检测率为61.86%，对扫视为76.56%，对平稳追踪为61.88%，在平衡性与整体准确率上优于I-BDT与LS。
• 在I-BDT数据集上，所提方法对注视的检测率为72.50%，对扫视为69.44%，对平稳追踪为64.83%，在各类运动类型上表现一致。
• 检测器在无需手动阈值调优或数据特定初始化的情况下，保持了各类运动类型的平衡性能。
• 与EV（Nyström和Holmqvist, 2010）相比，后者完全无法检测平稳追踪，所提方法在所有运动类型上的检测率均显著更高。
• 尽管LS（Larsson et al., 2013）是一种自适应分割算法，所提方法在所有评估数据集上对注视和扫视的检测准确率仍优于LS。
• 结果表明，模拟器生成的训练数据有效捕捉了真实眼动速度轮廓的统计特性，从而实现了对未见真实数据的高泛化能力。