[论文解读] MIDAS: Deep learning human action intention prediction from natural eye movement patterns

Paul Festor, Ali Shafti+4 more|arXiv (Cornell University)|Jan 22, 2022

Gaze Tracking and Assistive Technology被引用 4

一句话总结

本文提出 MIDAS，一种深度学习模型，仅使用注视点和物体位置数据，通过自然的眼动模式预测人类动作意图。通过将注视动态建模为双向LSTM的时间序列，MIDAS 在无需注视手势或注视时间的情况下，实现了91.9%的准确率，用于分类操作意图与检查意图，证明了自然注视作为零用户界面的可行性。

ABSTRACT

Eye movements have long been studied as a window into the attentional mechanisms of the human brain and made accessible as novelty style human-machine interfaces. However, not everything that we gaze upon, is something we want to interact with; this is known as the Midas Touch problem for gaze interfaces. To overcome the Midas Touch problem, present interfaces tend not to rely on natural gaze cues, but rather use dwell time or gaze gestures. Here we present an entirely data-driven approach to decode human intention for object manipulation tasks based solely on natural gaze cues. We run data collection experiments where 16 participants are given manipulation and inspection tasks to be performed on various objects on a table in front of them. The subjects' eye movements are recorded using wearable eye-trackers allowing the participants to freely move their head and gaze upon the scene. We use our Semantic Fovea, a convolutional neural network model to obtain the objects in the scene and their relation to gaze traces at every frame. We then evaluate the data and examine several ways to model the classification task for intention prediction. Our evaluation shows that intention prediction is not a naive result of the data, but rather relies on non-linear temporal processing of gaze cues. We model the task as a time series classification problem and design a bidirectional Long-Short-Term-Memory (LSTM) network architecture to decode intentions. Our results show that we can decode human intention of motion purely from natural gaze cues and object relative position, with $91.9\%$ accuracy. Our work demonstrates the feasibility of natural gaze as a Zero-UI interface for human-machine interaction, i.e., users will only need to act naturally, and do not need to interact with the interface itself or deviate from their natural eye movement patterns.

研究动机与目标

• 通过从自然注视线索中解码意图，克服基于注视的人机界面中的‘Midas Touch’问题，而无需刻意的注视手势或注视时间。
• 探究仅依靠自然眼动模式（无需人为任务限制）是否能可靠预测个体意图是操作还是检查物体。
• 开发一种数据驱动的端到端深度学习框架，利用注视与物体关系的时间动态进行意图识别。
• 验证意图预测依赖于注视的非线性时间处理，而非仅空间固定模式或简单启发式方法。
• 建立一种零用户界面交互范式，用户可自然交互，系统仅通过注视行为推断意图，无需改变其注视行为或界面交互方式。

提出的方法

• 在自然、无头约束环境中，通过可穿戴眼动仪收集16名参与者执行操作与检查任务的自拍视角眼动追踪数据。
• 使用语义中央凹模型检测并定位场景中的物体，并计算每帧中物体与注视点之间的空间关系。
• 对物体位置数据（最多100个点，约0.8秒的间隙）进行插值，以与更高分辨率的注视数据（约120Hz）对齐，从而区分检测失败与物体缺失。
• 将所有试验裁剪为指令后统一的3.33秒窗口，以消除试验时长差异带来的偏差。
• 设计基于双向LSTM的架构（2层256个LSTM单元，注意力机制，3层全连接层，使用ReLU和Sigmoid激活函数），以建模注视-物体序列中的时间依赖性。
• 使用二元交叉熵损失函数，采用Adam优化器（初始初始学习率：2.5×10⁻⁴）在200个周期内训练模型，并通过k折交叉验证和留一参与者交叉验证确保鲁棒性。

实验结果

研究问题

• RQ1 能否仅从自然、无约束的注视模式中准确预测人类动作意图（操作 vs. 检查），而无需注视手势或注视时间？
• RQ2 意图预测是否依赖于注视动态的非线性时间处理，还是可简化为简单的空间固定模式？
• RQ3 任务描述长度或命名物体数量等混淆因素在多大程度上会偏见意图预测模型？
• RQ4 在不使用显式手工特征的情况下，仅基于原始注视与物体位置序列训练的深度学习模型能否实现高精度的意图解码？
• RQ5 是否可行构建一种零用户界面，用户可自然交互，系统仅通过注视行为推断意图？

主要发现

• MIDAS 仅使用自然注视轨迹和物体位置，实现了91.9%的准确率，用于分类人类动作意图（操作 vs. 检查）。
• 与仅基于距离特征训练的基线分类器相比，该模型性能显著更优，表明意图预测依赖于复杂的时间动态，而不仅依赖于空间接近度。
• 通过将试验裁剪为指令结束后统一的3.33秒窗口，有效缓解了较长任务描述带来的偏差，确保无时长线索影响预测结果。
• 通过留一参与者交叉验证确认，模型在不同参与者间表现出强鲁棒性，表明其对未见用户的泛化能力。
• 研究结果表明，非线性时间建模对注视序列是意图解码的关键，因为简单基于空间或静态固定点的模型表现较差。
• 结果验证了使用自然注视作为零用户界面的可行性，用户无需调整其注视行为即可与系统交互。