[论文解读] HADUA: Hierarchical Attention and Dynamic Uniform Alignment for Robust Cross-Subject Emotion Recognition

Jiahao Tang, Youjun Li+5 more|arXiv (Cornell University)|Jan 29, 2026

Emotion and Mood Recognition被引用 0

一句话总结

HADUA 集成分层注意力的多模态融合，结合置信度感知伪标签加权与统一的类别级对齐，以实现从 EEG 与眼动信号的鲁棒跨被试情感识别。

ABSTRACT

Robust cross-subject emotion recognition from multimodal physiological signals remains a challenging problem, primarily due to modality heterogeneity and inter-subject distribution shift. To tackle these challenges, we propose a novel adaptive learning framework named Hierarchical Attention and Dynamic Uniform Alignment (HADUA). Our approach unifies the learning of multimodal representations with domain adaptation. First, we design a hierarchical attention module that explicitly models intra-modal temporal dynamics and inter-modal semantic interactions (e.g., between electroencephalogram(EEG) and eye movement(EM)), yielding discriminative and semantically coherent fused features. Second, to overcome the noise inherent in pseudo-labels during adaptation, we introduce a confidence-aware Gaussian weighting scheme that smooths the supervision from target-domain samples by down-weighting uncertain instances. Third, a uniform alignment loss is employed to regularize the distribution of pseudo-labels across classes, thereby mitigating imbalance and stabilizing conditional distribution matching. Extensive experiments on multiple cross-subject emotion recognition benchmarks show that HADUA consistently surpasses existing state-of-the-art methods in both accuracy and robustness, validating its effectiveness in handling modality gaps, noisy pseudo-labels, and class imbalance. Taken together, these contributions offer a practical and generalizable solution for building robust cross-subject affective computing systems.

研究动机与目标

• 解决多模态情感识别中的跨被试分布漂移。
• 建模 EEG 与眼动信号的模态内时间动态与模态间语义交互。
• 通过置信度感知权重来缓解目标域伪标签噪声。
• 在条件分布对齐过程中平衡类别贡献，处理不平衡问题。

提出的方法

• 为 EEG 和眼动信号提出一个带有分层注意力的双分支特征提取器（每模态的自注意力与 EEG→Eye 的单向跨注意力）。
• 使用 MMD 对边际分布进行对齐，基于目标伪标签的 CMMD 实现条件分布对齐。
• 引入 Soft Gaussian Weighting，通过预测置信度对目标伪标签进行软加权，采用 EMA 更新的统计量。
• 实现 Uniform Alignment，通过调度因子和温度参数对伪标签类别分布进行软再平衡。
• 以闭环框架进行端到端训练，其中多模态表示学习、伪标签优化和分布对齐相互作用。
• 应用基于微分熵的 EEG 特征与全面的眼动特征，随后采用 Transformer 式注意力进行融合。

实验结果

研究问题

• RQ1 分层注意力是否可以有效建模跨被试情境下EEG与EM信号的模态内结构与模态间语义？
• RQ2 目标伪标签的置信度感知加权是否能降低域对齐过程中的标签噪声影响？
• RQ3 统一的类别级伪标签平衡是否能在跨被试漂移下改善 CPD 对齐与整体泛化？
• RQ4 将 MPD（MMD）与 CPD（CMMD）对齐并结合伪标签优化，对跨被试鲁棒性有何影响？

主要发现

• HADUA 在跨被试基准测试中在准确性与鲁棒性方面持续超越现有方法。
• 分层注意力捕捉到模态内的时间动态与模态间的语义交互，提升了判别性融合特征。
• Soft Gaussian 加权通过降低高不置信伪标签的权重来稳定训练，同时不丢弃数据。
• Uniform Alignment 缓解伪标签中的类别不平衡，提升条件分布匹配。