[論文レビュー] Progressive Graph Convolution Network for EEG Emotion Recognition

Yijin Zhou, Fu Li+7 more|arXiv (Cornell University)|Dec 14, 2021

EEG and Brain-Computer Interfaces被引用数 5

ひとこと要約

本論文は、感情の階層的性質を活用して粗いカテゴリーから細かいカテゴリーへ段階的に学習する、プログレッシブ・グラフ畳み込みネットワーク（PGCN）を提案する。この手法は、動的機能的結合と静的空間的近接性を捉える二重グラフを統合し、階層的特徴学習を実現する二重ヘッドモジュールを備え、SEED-IVおよびMPEDデータセットで最先端の性能を達成するとともに、高周波数帯と前頭前野・側頭葉の感情処理における役割を強調している。

ABSTRACT

Studies in the area of neuroscience have revealed the relationship between emotional patterns and brain functional regions, demonstrating that dynamic relationships between different brain regions are an essential factor affecting emotion recognition determined through electroencephalography (EEG). Moreover, in EEG emotion recognition, we can observe that clearer boundaries exist between coarse-grained emotions than those between fine-grained emotions, based on the same EEG data; this indicates the concurrence of large coarse- and small fine-grained emotion variations. Thus, the progressive classification process from coarse- to fine-grained categories may be helpful for EEG emotion recognition. Consequently, in this study, we propose a progressive graph convolution network (PGCN) for capturing this inherent characteristic in EEG emotional signals and progressively learning the discriminative EEG features. To fit different EEG patterns, we constructed a dual-graph module to characterize the intrinsic relationship between different EEG channels, containing the dynamic functional connections and static spatial proximity information of brain regions from neuroscience research. Moreover, motivated by the observation of the relationship between coarse- and fine-grained emotions, we adopt a dual-head module that enables the PGCN to progressively learn more discriminative EEG features, from coarse-grained (easy) to fine-grained categories (difficult), referring to the hierarchical characteristic of emotion. To verify the performance of our model, extensive experiments were conducted on two public datasets: SEED-IV and multi-modal physiological emotion database (MPED).

研究の動機と目的

• 既存のEEG感情認識モデルに欠けている感情固有の誘導的バイアスを、感情の階層的構造を活用することで補うこと。
• 神経科学に裏付けられた二重グラフモジュールを用いて、EEG電極間の動的機能的結合と静的空間的近接性をモデル化すること。
• 粗いカテゴリーから細かいカテゴリーへの段階的分類によって、判別性の高い特徴学習を向上させること。
• 解釈可能なディープラーニングフレームワークを用いて、EEG周波数帯と感情状態の関係を調査すること。
• アテンション可視化と機能的グラフ解析を通じて、感情表現に最も関連する脳領域を同定すること。

提案手法

• PGCNは、EEG信号から学習される動的機能的グラフ（\mathbf{G_f^d}）と電極配置に基づく静的空間的近接性グラフを組み合わせた二重グラフモジュールを採用し、脳結合をモデル化する。
• 二重ヘッド分類ヘッドを設計し、段階的に特徴を学習する：最初のヘッドは粗い感情カテゴリー（例：肯定的／否定的）を分類し、2番目のヘッドが細かいカテゴリー（例：恐怖、怒り、嫌悪）に精緻化する。
• モデルはグラフ畳み込みネットワーク（GCNs）を用いてEEG信号から空間的・時間的特徴を抽出し、関連する脳領域を強調するためのアテンション機構を統合する。
• トレーニング中の特徴空間の進化を分析するためにT-SNE可視化を適用し、最適化後に同じ感情の特徴がより緊密にクラスタリングされることを確認した。
• 動的グラフ $\mathbf{G_f^d}$ を用いて機能的結合の寄与度を可視化し、スカラップ上にマッピングすることで、重要な電極と周波数帯を同定した。
• 妥当性を検証するため、SEED-IVおよびMPEDの2つの公開データセットを用い、被験者依存および被験者非依存の両設定で実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 粗いカテゴリーから細かいカテゴリーへの段階的学習戦略は、EEGに基づく感情認識性能を向上させることができるか？
• RQ2 EEG電極間の動的機能的結合と静的空間的近接性は、感情表現にどのように寄与するか？
• RQ3 どのEEG周波数帯（δ、θ、α、β、γ）が感情状態を最も予測可能であり、被験者間でどのように変動するか？
• RQ4 どの脳領域（例：前頭前野、側頭葉、頭頂葉）が感情認識に最も高い機能的結合寄与度を示すか？
• RQ5 PGCNモデルは、ベースラインモデルと比較して、特徴の判別性をどの程度向上させるか？

主な発見

• PGCNはSEED-IVおよびMPEDデータセットの両方で最先端の性能を達成し、段階的階層的学習による優れた分類精度を示した。
• 高周波数帯（βおよびγ）の認識精度は、低周波数帯よりも顕著に高く、感情状態と強い相関があることを裏付けた。
• SEED-IVの被験者非依存実験ではδ帯が最高の認識率を示し、被験者間の共通性を捉える上で重要であることを示した。
• T-SNE可視化により、トレーニング後、同じ感情のEEG特徴がより緊密にクラスタリングされていることが確認され、特徴の判別性が向上したことを裏付けた。
• 前頭前野と側頭葉が感情認識に最も顕著に寄与しており、感情関連脳領域に関する神経科学的知見と整合的であった。
• 動的グラフ可視化により、機能的結合パターンは周波数帯ごとに顕著に異なり、高周波数帯ではより明確で局所的な活性化が観察された。