[論文レビュー] PGCN: Pyramidal Graph Convolutional Network for EEG Emotion Recognition

Ming Jin, Enwei Zhu+3 more|arXiv (Cornell University)|Feb 6, 2023

EEG and Brain-Computer Interfaces参考文献 52被引用数 4

ひとこと要約

本稿では、局所的、中規模的、グローバルな電極間関係を3段階のアーキテクチャでモデル化することで、EEGを用いた感情認識を向上させるピラミッド型グラフ畳み込みネットワーク（PGCN）を提案する。空間的トポロジー、知識誘導型脳領域、位置に敏感なグローバル接続性を統合することで、PGCNは深層GCNにおける過剰平滑化を軽減しながら、最先端の性能を達成する。

ABSTRACT

Emotion recognition is essential in the diagnosis and rehabilitation of various mental diseases. In the last decade, electroencephalogram (EEG)-based emotion recognition has been intensively investigated due to its prominative accuracy and reliability, and graph convolutional network (GCN) has become a mainstream model to decode emotions from EEG signals. However, the electrode relationship, especially long-range electrode dependencies across the scalp, may be underutilized by GCNs, although such relationships have been proven to be important in emotion recognition. The small receptive field makes shallow GCNs only aggregate local nodes. On the other hand, stacking too many layers leads to over-smoothing. To solve these problems, we propose the pyramidal graph convolutional network (PGCN), which aggregates features at three levels: local, mesoscopic, and global. First, we construct a vanilla GCN based on the 3D topological relationships of electrodes, which is used to integrate two-order local features; Second, we construct several mesoscopic brain regions based on priori knowledge and employ mesoscopic attention to sequentially calculate the virtual mesoscopic centers to focus on the functional connections of mesoscopic brain regions; Finally, we fuse the node features and their 3D positions to construct a numerical relationship adjacency matrix to integrate structural and functional connections from the global perspective. Experimental results on three public datasets indicate that PGCN enhances the relationship modelling across the scalp and achieves state-of-the-art performance in both subject-dependent and subject-independent scenarios. Meanwhile, PGCN makes an effective trade-off between enhancing network depth and receptive fields while suppressing the ensuing over-smoothing. Our codes are publicly accessible at https://github.com/Jinminbox/PGCN.

研究の動機と目的

• EEGを用いた感情認識における浅いGCNの長距離電極依存性を捉える能力の制限を解消すること。
• 深層GCNにおける過剰平滑化問題を克服しつつ、機能的・構造的脳結合性のより良いモデル化を可能にするために受容fieldを拡大すること。
• 神経解剖学的事前知識をGCNアーキテクチャに統合し、中規模脳領域の表現を向上させること。
• 局所的、中規模的、グローバルスケールの特徴集約をバランスさせ、被験者依存および被験者非依存のベンチマークの両方で感情認識性能を向上させること。
• 多段階グラフ学習を用いたスケーラブルで公開可能なEEG感情認識フレームワークの開発

提案手法

• EEG電極間の3次元的トポロジーに基づくバニラGCNを構築し、2次元の局所的特徴を抽出する。
• 事前解剖学的知識（例：前頭前野、側頭葉、後頭葉）を用いて中規模脳領域を定義し、中規模アテンションを適用して機能的結合性を強調する仮想中心を計算する。
• ノード特徴量とその3次元空間座標を統合して、構造的および機能的結合性をグローバルレベルに符号化する位置に敏感な数値隣接行列を作成する。
• 局所的、中規模的、グローバルな3つのレベルからの特徴を階層的統合戦略により統合し、スケールをまたがる表現を豊かにする。
• グローバルモジュールで学習可能な隣接行列を用い、疎な長距離依存性を捉えつつ過剰平滑化を最小限に抑える。
• 確率的勾配降下法を用いて交差エントロピー損失を最適化し、EEGデータにおける感情分類を目的として、エンドツーエンドのPGCNモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 多スケールグラフ畳み込みアーキテクチャは、EEGを用いた感情認識における局所的・中規模的・グローバルな脳結合性を効果的にモデル化できるか？
• RQ2 GCNアーキテクチャに事前神経解剖学的知識を統合することで、EEG感情認識タスクの性能はどの程度向上するか？
• RQ3 ピラミッド型GCN設計は、過剰平滑化を誘発せずに受容fieldをどの程度拡大できるか？
• RQ4 提案手法は、被験者依存および被験者非依存の両方の感情認識設定において、既存のGCNベースのモデルよりも優れた性能を達成するか？
• RQ5 学習されたアテンション重みと隣接行列は、感情処理に関連する既知の機能的脳ネットワークをどの程度反映しているか？

主な発見

• PGCNは、SEED、SEED-IV、DEAPの3つの公開EEG感情認識データセットで最先端の性能を達成した。
• 被験者依存および被験者非依存の両設定において、分類精度が顕著に向上し、既存のGCNベースの手法を上回った。
• 学習された隣接行列の可視化により、前頭前野、側頭葉、後頭葉の電極が一貫して高い自己重みを獲得し、感情関連脳領域と整合する重要な接続を形成することが示された。
• 学習された隣接行列における上位10件の接続は、主に前頭前野、側頭葉、後頭葉に位置しており、感情処理における機能的重要性を示している。
• 性能曲線から、深さが増すに従い精度が上昇するが、ある点を過ぎると過剰平滑化が支配的になることが確認され、PGCNの設計がこの劣化を遅らせる有効性が裏付けられた。
• 提案手法は、拡大された受容fieldと過剰平滑化の両者を効果的にバランスさせ、深層アーキテクチャでも安定した性能を示した。