[論文レビュー] EEG-Based Emotion Recognition Using Regularized Graph Neural Networks

Peixiang Zhong, Di Wang+1 more|arXiv (Cornell University)|Jul 18, 2019

EEG and Brain-Computer Interfaces参考文献 79被引用数 47

ひとこと要約

この論文は EEG ベースの感情認識のための正則化グラフニューラルネットワーク（RGNN）を提案し、生物学的脳トポロジーと2つの正則化項を活用して跨被験者変動とノイズラベルに対処し、SEEDおよびSEED-IVデータセットで優れた性能を達成します。

ABSTRACT

Electroencephalography (EEG) measures the neuronal activities in different brain regions via electrodes. Many existing studies on EEG-based emotion recognition do not fully exploit the topology of EEG channels. In this paper, we propose a regularized graph neural network (RGNN) for EEG-based emotion recognition. RGNN considers the biological topology among different brain regions to capture both local and global relations among different EEG channels. Specifically, we model the inter-channel relations in EEG signals via an adjacency matrix in a graph neural network where the connection and sparseness of the adjacency matrix are inspired by neuroscience theories of human brain organization. In addition, we propose two regularizers, namely node-wise domain adversarial training (NodeDAT) and emotion-aware distribution learning (EmotionDL), to better handle cross-subject EEG variations and noisy labels, respectively. Extensive experiments on two public datasets, SEED and SEED-IV, demonstrate the superior performance of our model than state-of-the-art models in most experimental settings. Moreover, ablation studies show that the proposed adjacency matrix and two regularizers contribute consistent and significant gain to the performance of our RGNN model. Finally, investigations on the neuronal activities reveal important brain regions and inter-channel relations for EEG-based emotion recognition.

研究の動機と目的

• EEG信号から感情認識を動機づけ、トポロジーに依存しない従来手法の限界に対処する。
• 脳内チャネル間のトポロジーをグラフニューラルネットワークでモデル化するため、生物学的にインスパイアされた疎な隣接行列を導入する。
• 跨被験者一般化とノイズのあるラベルへの頑健性を向上させるため、NodeDATとEmotionDLの2つの正則化項を開発する。
• SEEDおよびSEED-IVデータセットを用いた広範な実験を通じてRGNNの有効性を示し、情報量の多い脳領域を分析する。
• EEGベースの感情認識に関連するチャネル間の関係と脳領域に関する洞察を提供する。

提案手法

• EEGチャネルをグラフのノードとしてモデル化し、局所および全体の脳接続を捉える学習可能な対称隣接行列を用いる。
• Simple Graph Convolution (SGC) を RGNN に拡張し、トポロジカル構造を活用してノード認識表現を得る。
• NodeDAT を導入し、ノードごとのドメイン対敵訓練を実施して、チャネルごとの特徴表現を正則化し跨被験者の堅牢性を高める。
• EmotionDL を導入し、各サンプルの感情ラベルの分布を学習し、ノイズのあるラベルに対処するため KL ダイバージェンスを用いる。
• KLベースの分布学習、隣接行列の疎性、およびドメイン対敵正則化を組み合わせた損失でエンドツーエンドに最適化する。
• 距離ベースの局所接続と神経の非対称性および機能的結合を反映する特定のグローバルチャネルペアで隣接行列を初期化する。

実験結果

リサーチクエスチョン

• RQ1 EEGチャネルのトポロジーを尊重するグラフニューラルネットワークは、トポロジー非依存モデルより感情認識の精度を向上させることができるか？
• RQ2 生物学的にインスパイアされた隣接行列は、EEGベースの感情認識におけるチャネル間の関係の学習を改善するか？
• RQ3 NodeDAT と EmotionDL の正則化項は、それぞれ跨被験者一般化とノイズのあるラベルへの頑健性を改善するか？
• RQ4 EEGベースの感情分類に最も情報量が高い脳領域とチャネル間の関係はどれか？
• RQ5 標準的なEEG感情データセット SEED および SEED-IV におけるRGNNの被験者依存設定と被験者非依存設定の性能はどうなるか？

主な発見

• 提案された隣接行列と正則化項を用いた RGNN は、ほとんどの実験設定で最先端モデルを上回る性能を達成する。
• アブレーション研究は、隣接行列設計と2つの正則化項が一貫して有意に性能向上に寄与することを示す。
• NodeDAT はノードレベルでより細粒なドメイン適応を提供することにより跨被験者一般化を改善する。
• EmotionDL は感情クラスの分布を学習することでノイズのあるラベルへの頑健性を高め、単一の硬いラベルではなく分布を学習する。
• 前頭部、頭頂部、および後頭部の領域、ならびに全体的な左右半球間の接続が感情認識に有用であることが分析から示唆される。