[论文解读] Husformer: A Multi-Modal Transformer for Multi-Modal Human State Recognition

Ruiqi Wang, Wonse Jo+5 more|arXiv (Cornell University)|Sep 30, 2022

Emotion and Mood Recognition被引用 8

一句话总结

Husformer 是一种端到端的多模态Transformer框架，通过利用跨模态注意力机制建模模态间依赖关系，并通过自注意力机制突出融合表示中的上下文特征，从而提升人类状态识别性能。在四个基准数据集（DEAP、WESAD、MOCAS、CogLoad）上，尤其在原始多模态输入下，其性能优于当前最先进（SOTA）的基线模型，且无需人工特征工程与对齐。

ABSTRACT

Human state recognition is a critical topic with pervasive and important applications in human-machine systems. Multi-modal fusion, the combination of metrics from multiple data sources, has been shown as a sound method for improving the recognition performance. However, while promising results have been reported by recent multi-modal-based models, they generally fail to leverage the sophisticated fusion strategies that would model sufficient cross-modal interactions when producing the fusion representation; instead, current methods rely on lengthy and inconsistent data preprocessing and feature crafting. To address this limitation, we propose an end-to-end multi-modal transformer framework for multi-modal human state recognition called Husformer. Specifically, we propose to use cross-modal transformers, which inspire one modality to reinforce itself through directly attending to latent relevance revealed in other modalities, to fuse different modalities while ensuring sufficient awareness of the cross-modal interactions introduced. Subsequently, we utilize a self-attention transformer to further prioritize contextual information in the fusion representation. Using two such attention mechanisms enables effective and adaptive adjustments to noise and interruptions in multi-modal signals during the fusion process and in relation to high-level features. Extensive experiments on two human emotion corpora (DEAP and WESAD) and two cognitive workload datasets (MOCAS and CogLoad) demonstrate that in the recognition of human state, our Husformer outperforms both state-of-the-art multi-modal baselines and the use of a single modality by a large margin, especially when dealing with raw multi-modal signals. We also conducted an ablation study to show the benefits of each component in Husformer.

研究动机与目标

• 为解决现有多模态融合方法在人类状态识别中的局限性，特别是其对人工特征工程和不一致对齐的依赖。
• 开发一种端到端框架，无需预先特征对齐，即可有效建模跨模态依赖关系与上下文交互。
• 提升多模态人类状态识别的准确率与鲁棒性，尤其是在使用原始、未经处理的多模态信号时。
• 实现实时、自适应的人类状态预测，适用于人机协同与闭路电视监控等实际应用场景。

提出的方法

• 模型通过1D卷积层处理多模态输入（如EEG、EMG、GSR、眨眼），提取具有共享维度的低级单模态特征。
• 低级单模态特征被拼接为低级融合表示，作为跨模态注意力机制的共享上下文。
• 跨模态注意力Transformer使各模态能够关注其他模态中的相关特征，基于模态间相关性强化单模态表示。
• 强化后的单模态特征被拼接为中级融合表示，随后通过自注意力Transformer处理，以突出长期上下文依赖关系。
• 最终的高级融合表示被输入全连接层，用于分类人类情感与认知状态。
• 整个框架端到端训练，无需手工设计的特征对齐或预处理。

实验结果

研究问题

• RQ1 基于Transformer的框架是否能在无需人工特征对齐或工程的情况下，有效建模多模态人类状态识别中的跨模态依赖关系？
• RQ2 与传统早期或晚期融合策略相比，跨模态注意力如何提升融合表示的质量？
• RQ3 融合表示中的自注意力机制在多长范围的依赖关系建模中，对上下文建模与性能提升的贡献程度如何？
• RQ4 与依赖预处理或对齐特征的模型相比，Husformer在原始多模态输入下的表现如何？
• RQ5 Husformer能否泛化到实际应用场景，如人机系统中的实时认知负荷预测？

主要发现

• Husformer在四个基准数据集（DEAP、WESAD、MOCAS、CogLoad）上显著优于当前最先进（SOTA）的多模态基线模型与单模态模型。
• 尤其在使用原始多模态特征时，模型表现更优，展现出更强的鲁棒性与对特征工程的低依赖性。
• 消融实验表明，跨模态注意力与自注意力机制均至关重要：前者提升融合质量，后者增强上下文特征优先级。
• 注意力模式可视化显示，跨模态注意力在批量间产生一致且自适应的注意力图，尤其突出EEG与EMG模态中的相关特征。
• Husformer中的自注意力机制学习到稳定、长期的上下文模式，而基线模型HusFuse（无跨模态注意力）则表现出不一致且低效的注意力分布。
• 在真实世界闭路电视监控任务中，Husformer成功以100 Hz的频率实时预测认知工作量（低/中/高），实现了人机团队中动态工作量调节。