[논문 리뷰] HADUA: Hierarchical Attention and Dynamic Uniform Alignment for Robust Cross-Subject Emotion Recognition

Jiahao Tang, Youjun Li외 5명|arXiv (Cornell University)|2026. 01. 29.

Emotion and Mood Recognition인용 수 0

한 줄 요약

HADUA는 EEG와 안구 움직임 신호로 robust cross-subject emotion recognition을 달성하기 위해 계층적 주의 기반 다중모달 융합과 신뢰도 인식 의사 라벨 가중치 및 클래스별 균일 정렬을 통합한다.

ABSTRACT

Robust cross-subject emotion recognition from multimodal physiological signals remains a challenging problem, primarily due to modality heterogeneity and inter-subject distribution shift. To tackle these challenges, we propose a novel adaptive learning framework named Hierarchical Attention and Dynamic Uniform Alignment (HADUA). Our approach unifies the learning of multimodal representations with domain adaptation. First, we design a hierarchical attention module that explicitly models intra-modal temporal dynamics and inter-modal semantic interactions (e.g., between electroencephalogram(EEG) and eye movement(EM)), yielding discriminative and semantically coherent fused features. Second, to overcome the noise inherent in pseudo-labels during adaptation, we introduce a confidence-aware Gaussian weighting scheme that smooths the supervision from target-domain samples by down-weighting uncertain instances. Third, a uniform alignment loss is employed to regularize the distribution of pseudo-labels across classes, thereby mitigating imbalance and stabilizing conditional distribution matching. Extensive experiments on multiple cross-subject emotion recognition benchmarks show that HADUA consistently surpasses existing state-of-the-art methods in both accuracy and robustness, validating its effectiveness in handling modality gaps, noisy pseudo-labels, and class imbalance. Taken together, these contributions offer a practical and generalizable solution for building robust cross-subject affective computing systems.

연구 동기 및 목표

• 다중모달 감정 인식에서 교차 주체 분포 시프트를 해결한다.
• EEG 및 EM에 대해 단일 모달 내부의 시간적 역학과 모달 간 의미 상호작용을 모델링한다.
• 대상 도메인에서의 노이즈 의사레이블을 신뢰도 기반 가중치로 완화한다.
• 불균형을 다루기 위해 조건 분포 정렬 동안 클래스 기여를 균형 맞춘다.

제안 방법

• EEG 및 안구 운동 신호를 위한 이중 분기 특징 추출기를 제안하며, 계층적 주의(각 모달리티별 자기 주의와 EEG→Eye의 단방향 교차 주의)를 포함한다.
• 경계 분포 정렬에 MMD를 사용하고 대상 의사 레이블에 기반한 조건 분포 정렬에는 CMMD를 사용한다.
• 예측 신뢰도에 따라 타깃 의사레이블에 소프트 가우시안 가중치를 도입하고 EMA로 업데이트된 통계를 사용하여 부드럽게 가중한다.
• 일관된 정렬을 구현하여 의사레이블 클래스 분포를 부드럽게 재균형화하고, 스케줄링 인자와 온도 매개변수로 제어한다.
• 다중 모달 표현 학습, 의사 라벨 최적화, 분포 정렬이 상호 작용하는 닫힌 루프 프레임워크로 엔드 투 엔드로 학습한다.
• 차등 엔트로피 기반 EEG 특징과 포괄적인 안구 운동 특징을 적용한 뒤 Transformer 스타일의 주의로 융합한다.

실험 결과

연구 질문

• RQ1 계층적 주의가 EEG 및 EM 신호의 내부 모달 구조와 모달 간 의미를 효과적으로 모델링할 수 있는가?
• RQ2 대상 의사레이블의 신뢰도 인식 가중치가 도메인 정렬 중 라벨 노이즈의 영향을 줄이는가?
• RQ3 교차 주체 이동 하에서 균일한 클래스별 의사레이블 균형이 CPD 정렬 및 전반적 일반화 성능을 개선할 수 있는가?
• RQ4 MPD(MMD)와 CPD(CMMD) 정렬을 의사레이블 최적화와 결합하는 것이 교차 주체 견고성에 어떤 영향을 미치는가?

주요 결과

• HADUA는 교차 주체 벤치마크에서 정확도와 견고성 면에서 일관되게 최첨단 방법을 능가한다.
• 계층적 주의는 내부 모달의 시간적 역학과 모달 간 의미 상호작용을 포착하여 구별 가능한 융합 특징을 향상시킨다.
• 소프트 가우시안 가중치는 낮은 신뢰도의 의사레이블의 가중치를 낮추어 학습을 안정시키되 데이터를 버리지 않는다.
• 균일 정렬은 의사레이블의 클래스 불균형을 완화하여 조건 분포 매칭을 향상시킨다.