[论文解读] EmMixformer: Mix transformer for eye movement recognition

Huafeng Qin, Hongyu Zhu+4 more|arXiv (Cornell University)|Jan 10, 2024

Gaze Tracking and Assistive Technology被引用 4

一句话总结

EmMixformer 提出了一种新颖的混合Transformer架构，通过整合注意力LSTM、标准Transformer和傅里叶Transformer模块，联合建模眼动数据中的局部时间依赖性、长程序列模式以及全局频域特征。该模型在GazeBase RAN数据集上实现了0.0795%的验证错误率，显著优于现有方法，达到最先进水平。

ABSTRACT

Eye movement (EM) is a new highly secure biometric behavioral modality that has received increasing attention in recent years. Although deep neural networks, such as convolutional neural network (CNN), have recently achieved promising performance, current solutions fail to capture local and global temporal dependencies within eye movement data. To overcome this problem, we propose in this paper a mixed transformer termed EmMixformer to extract time and frequency domain information for eye movement recognition. To this end, we propose a mixed block consisting of three modules, transformer, attention Long short-term memory (attention LSTM), and Fourier transformer. We are the first to attempt leveraging transformer to learn long temporal dependencies within eye movement. Second, we incorporate the attention mechanism into LSTM to propose attention LSTM with the aim to learn short temporal dependencies. Third, we perform self attention in the frequency domain to learn global features. As the three modules provide complementary feature representations in terms of local and global dependencies, the proposed EmMixformer is capable of improving recognition accuracy. The experimental results on our eye movement dataset and two public eye movement datasets show that the proposed EmMixformer outperforms the state of the art by achieving the lowest verification error.

研究动机与目标

• 为解决现有深度学习模型在捕捉眼动序列中局部与全局时间依赖性方面的局限性。
• 通过在时域与频域中整合多种注意力机制，提升眼动生物特征识别的准确性。
• 开发一个统一的端到端深度学习框架，有效融合眼动数据中的短期、长期和全局上下文表征。
• 通过新型混合Transformer架构，在眼动识别任务中建立新的最先进基准。

提出的方法

• 所提出的EmMixformer采用混合模块架构，结合三种组件：标准Transformer用于长程序列建模，注意力LSTM用于学习短期时间依赖性，傅里叶Transformer用于捕捉全局频域模式。
• 注意力LSTM模块通过引入自注意力机制增强标准LSTM，以更好地聚焦于相关时间步，提升短序列中的特征表示能力。
• 傅里叶Transformer在对输入信号进行快速傅里叶变换（FFT）后，在频域中应用自注意力机制，使模型能够学习全局结构模式。
• 三个模块在混合模块中并行处理并拼接，实现对局部、长程和全局特征的互补学习。
• 模型通过在眼动序列上使用交叉熵损失进行端到端训练，验证错误率（EER）作为主要评估指标。
• 通过逐步添加组件（Transformer → LSTM+Transformer → attLSTM+Transformer → 完整EmMixFormer）进行消融研究，以验证各模块的贡献。

实验结果

研究问题

• RQ1 与标准模型相比，结合时域与频域注意力机制的混合Transformer架构是否能提升眼动识别的准确性？
• RQ2 注意力LSTM与傅里叶Transformer在建模眼动序列中短期与全局依赖性方面，其贡献程度如何？
• RQ3 多种注意力机制（时域自注意力、增强注意力的LSTM、频域注意力）的集成如何影响模型的泛化能力与鲁棒性？
• RQ4 所提出的EmMixFormer架构是否在多种眼动数据集上，包括采样时间间隔不同的数据集，均实现了最先进性能？

主要发现

• EmMixformer在GazeBase数据集的RAN子集上实现了0.0795%的验证错误率（EER），显著优于基线Transformer模型（0.1220% EER）。
• 消融研究证实，在Transformer中加入注意力LSTM可使EER从0.1220%降低至0.0897%，证明了建模短期依赖性的价值。
• 在attLSTM+Transformer配置中引入傅里叶Transformer后，EER进一步降低至0.0795%，证实了全局频域特征学习的重要性。
• 所有模型在时间间隔持续增加时均出现性能下降，凸显了时间可变性的挑战，而EmMixFormer通过多尺度注意力机制有效缓解了该问题。
• 该模型在三个数据集上均优于现有最先进方法，包括作者自建的眼动数据集及两个公开基准，确立了眼动识别领域的新SOTA。
• 消融结果表明，LSTM中的注意力机制（attLSTM）相比标准LSTM性能更优，且三模块联合使用可实现最优识别准确率。