[論文レビュー] AttX: Attentive Cross-Connections for Fusion of Wearable Signals in Emotion Recognition

Anubhav Bhatti, Behnam Behinaein+2 more|arXiv (Cornell University)|Jun 9, 2022

Emotion and Mood Recognition被引用数 8

ひとこと要約

本稿では、心電図（ECG）、皮膚電気活動（EDA）、血流脳血流量（BVP）などのマルチモーダルウェアラブル信号を、深層学習モデルで動的に統合する新規の注意メカニズム「AttX」を提案する。複数のネットワーク段階で注意重み付きの双方向または単方向の情報共有を統合することで、表現学習を向上させ、WESADデータセットにおいて、先行手法を最大6.3%の精度向上で上回る最先端の性能を達成した。

ABSTRACT

We propose cross-modal attentive connections, a new dynamic and effective technique for multimodal representation learning from wearable data. Our solution can be integrated into any stage of the pipeline, i.e., after any convolutional layer or block, to create intermediate connections between individual streams responsible for processing each modality. Additionally, our method benefits from two properties. First, it can share information uni-directionally (from one modality to the other) or bi-directionally. Second, it can be integrated into multiple stages at the same time to further allow network gradients to be exchanged in several touch-points. We perform extensive experiments on three public multimodal wearable datasets, WESAD, SWELL-KW, and CASE, and demonstrate that our method can effectively regulate and share information between different modalities to learn better representations. Our experiments further demonstrate that once integrated into simple CNN-based multimodal solutions (2, 3, or 4 modalities), our method can result in superior or competitive performance to state-of-the-art and outperform a variety of baseline uni-modal and classical multimodal methods.

研究の動機と目的

• ウェアラブルベースの感情認識において、異なる生理的信号が補完的ではあるが一様に情報化されていない特徴を持つという課題に対処すること。
• 固定された早期または後期統合戦略に依存するのではなく、関連性に基づいてモダリティ間で情報を適応的に共有できる動的で学習可能な統合メカニズムを開発すること。
• 深層ニューラルネットワークアーキテクチャの異なる段階にクロス接続を統合することで、表現品質と分類性能に与える影響を調査すること。
• 提案された注意的クロス接続メカニズムが、古典的な統合手法（特徴量統合およびスコア統合）および最先端の手法を上回ることを実証すること。

提案手法

• AttXは、深層ニューラルネットワークの任意の中間層で、モダリティ固有の特徴ストリーム間の重み付きクロス接続を計算する学習可能な注意ベースのフィードフォワードネットワークを導入する。
• 本手法は3種類の接続をサポートする：タイプI（モダリティAからBへの単方向）、タイプII（BからAへの単方向）、タイプIII（双方向）、これにより柔軟な情報フロー制御が可能となる。
• クロス接続はネットワークの複数の段階（例：段階2または3）に挿入され、複数のポイントを通じて勾配が流れ込み、特徴の精錬が促進される。
• AttX内の注意メカニズムは、モダリティ固有の文脈に基づいて、共有特徴の動的重みを計算し、情報量の多い表現を優先する。
• フレームワークはさまざまなCNNバックボーン（VGG、ResNet）に統合され、3つの公開データセット（WESAD、SWELL-KW、CASE）で評価された。
• 本手法はエンドツーエンド学習をサポートし、畳み込みブロック後の異なるモダリティストリームの特徴マップを接続することでミドルレベル統合を実現する。

Figure 1 : An overview of our study is presented where attentive cross-modal connections are proposed, and their integration in multimodal settings is studied for emotion recognition.

実験結果

リサーチクエスチョン

• RQ1 ネットワークの異なる段階に注意的クロス接続を統合することで、マルチモーダル表現学習および感情認識性能にどのような影響を与えるか？
• RQ2 ECGやEDAのようなモダリティ間で、感情認識の観点から最適な情報フローの方向性とタイプ（単方向または双方向）は何か？
• RQ3 特徴レベル統合およびスコアレベル統合の従来手法と比較して、AttXはどの程度性能を向上させるか？
• RQ4 複雑なアーキテクチャや注意機構を用いずに、単純なCNNベースのモデルのみでAttXが最先端の性能を達成できるか？

主な発見

• WESADデータセットでは、ECGとEDAを統合したAttXが65.20%の精度と62.25%のF1スコアを達成し、最先端手法を約6.3%上回った。
• WESADデータセットでは、特徴量統合手法よりも4%、スコア統合手法よりも4.8%の性能向上を達成した。
• CASEデータセットでは、ECGとEDAを統合したAttXが66.72%の精度と61.00%のF1スコアを達成し、特徴統合手法を3.7%、スコア統合手法を14%上回った。
• ECGとEDA、またはBVPとEDAに皮膚温（ST）を追加することでさらに性能が向上し、CASEデータセットで70.15%の精度と67.84%のF1スコアを達成した。
• 最も高い性能は段階2（ミドル統合）にAttXを挿入した場合に得られ、次に段階3がそれに続いた。これは、クロスモダリティ情報交換に最適なタイミングであることを示している。
• タイプII接続（EDAからECGまたはBVPへの単方向）が一貫して最も高い性能向上をもたらした。これは、EDAが他のモダリティにとって非常に情報量の多い手がかりを提供していることを示唆している。

Figure 2 : A multimodal pipeline consisting of two CNNs, one for learning ECG and the other for learning EDA, is presented. The CNNs are connected via our AttX connections (Type III) after each convolutional block. $\bigotimes$ denotes concatenation.