[論文レビュー] Husformer: A Multi-Modal Transformer for Multi-Modal Human State Recognition

Ruiqi Wang, Wonse Jo+5 more|arXiv (Cornell University)|Sep 30, 2022

Emotion and Mood Recognition被引用数 8

ひとこと要約

Husformer は、相互モダリティの注目メカニズムを用いてモダリティ間の依存関係をモデル化し、統合表現における文脈的特徴の優先順位をつけることで、人間の状態認識を向上させるエンド・ツー・エンドのマルチモーダル変換器フレームワークである。手動による特徴工学やアライメントの必要性を排除することで、特に生のマルチモーダル入力において、4つのベンチマークデータセット（DEAP、WESAD、MOCAS、CogLoad）で最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Human state recognition is a critical topic with pervasive and important applications in human-machine systems. Multi-modal fusion, the combination of metrics from multiple data sources, has been shown as a sound method for improving the recognition performance. However, while promising results have been reported by recent multi-modal-based models, they generally fail to leverage the sophisticated fusion strategies that would model sufficient cross-modal interactions when producing the fusion representation; instead, current methods rely on lengthy and inconsistent data preprocessing and feature crafting. To address this limitation, we propose an end-to-end multi-modal transformer framework for multi-modal human state recognition called Husformer. Specifically, we propose to use cross-modal transformers, which inspire one modality to reinforce itself through directly attending to latent relevance revealed in other modalities, to fuse different modalities while ensuring sufficient awareness of the cross-modal interactions introduced. Subsequently, we utilize a self-attention transformer to further prioritize contextual information in the fusion representation. Using two such attention mechanisms enables effective and adaptive adjustments to noise and interruptions in multi-modal signals during the fusion process and in relation to high-level features. Extensive experiments on two human emotion corpora (DEAP and WESAD) and two cognitive workload datasets (MOCAS and CogLoad) demonstrate that in the recognition of human state, our Husformer outperforms both state-of-the-art multi-modal baselines and the use of a single modality by a large margin, especially when dealing with raw multi-modal signals. We also conducted an ablation study to show the benefits of each component in Husformer.

研究の動機と目的

• 既存のマルチモーダル統合手法が直面する限界、特に手動による特徴工学や一貫性のないアライメントに依存している点を是正すること。
• 事前特徴アライメントを必要とせず、相互モダリティ間の依存関係と文脈的相互作用を効果的にモデル化できるエンド・ツー・エンドのフレームワークを開発すること。
• 生の、前処理の施されていないマルチモーダル信号を用いた場合でも、認識の正確性と頑健性を向上させること。
• 人間-ロボットチーム作業やCCTV監視などの実用的応用分野において、リアルタイムで適応可能な人間状態予測を可能にすること。

提案手法

• モデルは、1次元畳み込み層を通じて、共有次元を持つ低レベルの単モダリティ特徴を抽出する形でマルチモーダル入力（例：EEG、EMG、GSR、目を閉じる動作）を処理する。
• 低レベルの単モダリティ特徴は、相互モダリティ注目メカニズムの共有コンテキストとして機能する低レベル統合表現に連結される。
• 相互モダリティ注目変換器により、各モダリティが他のモダリティの関連する特徴に注目でき、モダリティ間の関連性に基づいて単モダリティ特徴を強化する。
• 強化された単モダリティ特徴は、中レベル統合表現に連結され、その後、自己注目変換器によって処理されて、長期的な文脈的依存関係を強調する。
• 最終的な高レベル統合表現は、全結合層に供給され、人間の感情的および認知的状態の分類が行われる。
• このフレームワーク全体はエンド・ツー・エンドで訓練され、手作業による特徴アライメントや前処理の必要性がなくなる。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴アライメントや工学を必要とせず、変換器ベースのフレームワークがマルチモーダル人間状態認識において相互モダリティの依存関係を効果的にモデル化できるか。
• RQ2 相互モダリティ注目は、従来の早期統合や遅延統合戦略と比較して、統合表現の質をどのように向上させるか。
• RQ3 統合表現における自己注目が、長距離依存関係のモデリングと性能にどの程度寄与するか。
• RQ4 Husformer は、事前処理やアラインメントされた特徴に依存するモデルと比較して、生のマルチモーダル入力に対してどの程度優れた性能を発揮するか。
• RQ5 Husformer は、人間-ロボットシステムにおけるリアルタイムの認知的負荷予測といった実世界の応用に一般化可能か。

主な発見

• Husformer は、4つのベンチマークデータセット（DEAP、WESAD、MOCAS、CogLoad）において、最先端のマルチモーダルベースラインおよび単一モダリティモデルを顕著に上回る性能を発揮した。
• 特に生のマルチモーダル特徴を用いた場合に優れた性能を発揮し、特徴工学への依存が低く、頑健であることが示された。
• アブレーションスタディにより、相互モダリティ注目と自己注目メカニズムの両方が不可欠であることが確認され、相互モダリティ注目が統合品質を向上させ、自己注目が文脈的特徴の優先順位付けを強化した。
• 注目パターンの可視化により、相互モダリティ注目がバッチ全体で一貫性があり、適応的な注目マップを生成することがわかった。特にEEGおよびEMGモダリティの関連する特徴が顕著に強調された。
• Husformer の自己注目メカニズムは安定した長期的文脈パターンを学習するが、相互モダリティ注目を欠いたベースラインの HusFuse は、一貫性がなく非効率な注目分布を示した。
• 実世界のCCTV監視タスクでは、Husformer は100 Hzの速度でリアルタイムに認知的負荷（低/中/高）を予測し、人間-ロボットチームにおける動的な負荷調整を可能にした。