[論文レビュー] Investigating EEG-Based Functional Connectivity Patterns for Multimodal Emotion Recognition

Xun Wu, Wei‐Long Zheng+1 more|arXiv (Cornell University)|Apr 4, 2020

EEG and Brain-Computer Interfaces被引用数 11

ひとこと要約

本稿は、感情関連の重要サブネットワークからの強度、クラスタリング係数、固有ベクトル中心性特徴を用いて、マルチモーダルな感情認識のための新しいEEGベースの機能的結合解析フレームワークを提案する。強度特徴は、最先端の単一チャネル手法を上回り、眼動作データとのマルチモーダル統合により、SEEDデータセットで95.08%の正確性を達成した。これは、低チャネル設定（18チャネル）が実世界の感情的BCIアプリケーションにおいて補完的表現と実現可能性を示している。

ABSTRACT

Compared with the rich studies on the motor brain-computer interface (BCI), the recently emerging affective BCI presents distinct challenges since the brain functional connectivity networks involving emotion are not well investigated. Previous studies on emotion recognition based on electroencephalography (EEG) signals mainly rely on single-channel-based feature extraction methods. In this paper, we propose a novel emotion-relevant critical subnetwork selection algorithm and investigate three EEG functional connectivity network features: strength, clustering coefficient, and eigenvector centrality. The discrimination ability of the EEG connectivity features in emotion recognition is evaluated on three public emotion EEG datasets: SEED, SEED-V, and DEAP. The strength feature achieves the best classification performance and outperforms the state-of-the-art differential entropy feature based on single-channel analysis. The experimental results reveal that distinct functional connectivity patterns are exhibited for the five emotions of disgust, fear, sadness, happiness, and neutrality. Furthermore, we construct a multimodal emotion recognition model by combining the functional connectivity features from EEG and the features from eye movements or physiological signals using deep canonical correlation analysis. The classification accuracies of multimodal emotion recognition are 95.08/6.42% on the SEED dataset, 84.51/5.11% on the SEED-V dataset, and 85.34/2.90% and 86.61/3.76% for arousal and valence on the DEAP dataset, respectively. The results demonstrate the complementary representation properties of the EEG connectivity features with eye movement data. In addition, we find that the brain networks constructed with 18 channels achieve comparable performance with that of the 62-channel network in multimodal emotion recognition and enable easier setups for BCI systems in real scenarios.

研究の動機と目的

• 感情的BCIシステムにおける感情関連脳機能的結合ネットワークの研究不足に対処すること。
• EEG機能的結合特徴（強度、クラスタリング係数、固有ベクトル中心性）の分類能を評価すること。
• 異なる感情状態において重要な結合パターンを特定するための感情関連の重要サブネットワーク選択アルゴリズムを開発すること。
• EEG機能的結合特徴と眼動作または生理的信号を統合し、より優れたマルチモーダルな感情認識を実現すること。
• 実用的な感情的BCIアプリケーションにおける低チャネルEEG設定（例：18チャネル）の実現可能性を評価すること。

提案手法

• 3段階の重要なサブネットワーク選択アルゴリズムを適用：被験者間平均化、有意な結合を保持するためのしきい値処理、感情および周波数帯域ごとの結合の統合。
• EEG信号間の相関を用いて機能的結合を計算し、周波数帯域（δ、θ、α、β、γ）ごとに脳ネットワークを構築する。
• 3つのネットワークレベル特徴を抽出する：強度（ノードごとの接続重みの合計）、クラスタリング係数（局所的ネットワーク密度）、固有ベクトル中心性（接続された近隣ノードに基づくノードの重要性）。
• 深層正準相関分析（DCCA）モデルを用いて、EEG結合特徴と眼動作または生理的信号を統合し、感情認識性能を向上させる。
• サブネットワーク選択およびモデル評価の妥当性を確保するため、3分割交差検証を実施する。
• 18チャネルEEG設定と62チャネル設定を比較し、実世界での展開における性能のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 嫌悪、恐怖、悲しみ、喜び、およびニュートラルな状態といった異なる感情状態において、EEGネットワークに特徴的な機能的結合パターンが存在するか？
• RQ2 強度、クラスタリング係数、固有ベクトル中心性というEEG機能的結合特徴のうち、感情認識の分類精度が最も高いのはどれか？
• RQ3 EEG結合特徴と眼動作データのマルチモーダル統合は、単一モodalな手法に比べ、感情認識性能を向上させることができるか？
• RQ4 18チャネルという低チャネルEEG設定は、62チャネルの完全な設定と比較して、どの程度の性能を維持できるか？

主な発見

• 強度特徴が3つの結合特徴の中で最高の分類性能を示し、単一チャネル解析からの最先端の微分エントロピー特徴を上回った。
• EEG結合特徴と眼動作データを統合したマルチモーダルな感情認識は、SEEDデータセットで95.08% ± 6.42%、SEED-Vデータセットで84.51% ± 5.11%、DEAPデータセットではアーザルに対して85.34% ± 2.90%、ヴァレンスに対して86.61% ± 3.76%の正確性を達成した。
• 異なる感情状態および周波数帯域で明確な機能的結合パターンが観察された。例えば、δ帯域では嫌悪および恐怖に対して前頭前野に強い正の結合が観察され、恐怖は嫌悪と比較してγ帯域でより多くの負の結合が見られた。
• 62チャネルから得たネットワークと同等の性能を18チャネルEEGから得たネットワークが達成されたことから、実用的で低コストなBCIシステムへの実現可能性が示された。
• EEG機能的結合特徴と眼動作データが補完的であることが確認され、全体の感情認識正確性が向上した。
• 悲しみとニュートラルな状態の間の誤認識は、特にδ帯域およびθ帯域で類似した結合パターンがあることと一致し、先行する神経画像法の知見とも整合した。