[論文レビュー] HADUA: Hierarchical Attention and Dynamic Uniform Alignment for Robust Cross-Subject Emotion Recognition

Jiahao Tang, Youjun Li+5 more|arXiv (Cornell University)|Jan 29, 2026

Emotion and Mood Recognition被引用数 0

ひとこと要約

HADUA は階層型注意力ベースの多モーダル融合を信頼度を考慮した疑似ラベル重み付けと均一クラス別整列と組み合わせ、EEGと眼球運動信号からの跨個体感情認識の頑健性を実現します。

ABSTRACT

Robust cross-subject emotion recognition from multimodal physiological signals remains a challenging problem, primarily due to modality heterogeneity and inter-subject distribution shift. To tackle these challenges, we propose a novel adaptive learning framework named Hierarchical Attention and Dynamic Uniform Alignment (HADUA). Our approach unifies the learning of multimodal representations with domain adaptation. First, we design a hierarchical attention module that explicitly models intra-modal temporal dynamics and inter-modal semantic interactions (e.g., between electroencephalogram(EEG) and eye movement(EM)), yielding discriminative and semantically coherent fused features. Second, to overcome the noise inherent in pseudo-labels during adaptation, we introduce a confidence-aware Gaussian weighting scheme that smooths the supervision from target-domain samples by down-weighting uncertain instances. Third, a uniform alignment loss is employed to regularize the distribution of pseudo-labels across classes, thereby mitigating imbalance and stabilizing conditional distribution matching. Extensive experiments on multiple cross-subject emotion recognition benchmarks show that HADUA consistently surpasses existing state-of-the-art methods in both accuracy and robustness, validating its effectiveness in handling modality gaps, noisy pseudo-labels, and class imbalance. Taken together, these contributions offer a practical and generalizable solution for building robust cross-subject affective computing systems.

研究の動機と目的

• 多モーダル感情認識における跨個体分布シフトへ対応する。
• EEGと眼球運動（EM）に対して、モーダル内の時間的ダイナミクスとモーダル間の意味的相互作用をモデル化する。
• ターゲットドメインのノイズのある疑似ラベルを信頼度を考慮した重み付けで緩和する。
• 条件付き分布整列におけるクラス寄与のバランスを取り、不均衡に対処する。

提案手法

• EEGと眼球運動信号の階層的注意を備えた二重分岐特徴抽出器を提案する（モーダル内自己注意と EEG→Eye の単方向クロス注意）。
• マージナル分布整列には MMD、ターゲット疑似ラベルに基づく条件付き分布整列には CMMD を使用する。
• 予測信頼度に応じてターゲット疑似ラベルをソフトに重み付けする Soft Gaussian Weighting を、EMA 更新統計で実装する。
• スケジューリング因子と温度パラメータで制御された疑似ラベルクラス分布をソフトに再バランスする Uniform Alignment を導入する。
• マルチモーダル表現学習、疑似ラベル最適化、分布整列が相互作用するクローズドループ型のエンドツーエンド学習を行う。
• 差分エントロピーに基づく EEG 特徴と包括的な眼球運動特徴を適用し、Transformer風の注意機構で融合を行う。

実験結果

リサーチクエスチョン

• RQ1 階層型注意は跨個体設定において EEG および EM 信号の内モーダル構造と interモーダル意味論を効果的にモデル化できるか？
• RQ2 ターゲット疑似ラベルの信頼度を考慮した重み付けは、ドメイン整列時のラベルノイズの影響を減らせるか？
• RQ3 Uniform class-wise 疑似ラベル均衡は CPD 整列と跨個体シフト下での全体的な一般化を改善できるか？
• RQ4 MPD（MMD）とCPD（CMMD）整列を疑似ラベル最適化と組み合わせることは跨個体の頑健性にどのような影響を与えるか？

主な発見

• HADUA は跨個体ベンチマークにおいて精度と頑健性で最先端手法を一貫して上回る。
• 階層型注意は内モーダルの時間的情報と interモーダルの意味的相互作用を捉え、識別性の高い融合特徴を向上させる。
• Soft Gaussian weighting は低信頼度の疑似ラベルを下げてデータを捨てずに訓練を安定化させる。
• Uniform Alignment は疑似ラベルのクラス不均衡を緩和し、条件付き分布の整合性を改善する。