[論文レビュー] A Novel Bi-hemispheric Discrepancy Model for EEG Emotion Recognition

Yang Li, Wenming Zheng+6 more|arXiv (Cornell University)|May 11, 2019

EEG and Brain-Computer Interfaces参考文献 38被引用数 17

ひとこと要約

本稿では、左右脳半球間の非対称な神経活動を活用して、EEGによる感情認識のための新規なバイヘミスフィア的乖離モデル（BiHDM）を提案する。双方向RNNを用いて空間的・時間的EEGパターンをモデル化し、ペアワイズサブネットワークを用いて半球間の乖離を抽出することで、3つの公開EEGデータセットにおいて最先端の性能を達成した。被験者依存設定では最高93.12%、被験者非依存設定では74.35%の正確性を達成した。

ABSTRACT

The neuroscience study has revealed the discrepancy of emotion expression between left and right hemispheres of human brain. Inspired by this study, in this paper, we propose a novel bi-hemispheric discrepancy model (BiHDM) to learn the asymmetric differences between two hemispheres for electroencephalograph (EEG) emotion recognition. Concretely, we first employ four directed recurrent neural networks (RNNs) based on two spatial orientations to traverse electrode signals on two separate brain regions, which enables the model to obtain the deep representations of all the EEG electrodes' signals while keeping the intrinsic spatial dependence. Then we design a pairwise subnetwork to capture the discrepancy information between two hemispheres and extract higher-level features for final classification. Besides, in order to reduce the domain shift between training and testing data, we use a domain discriminator that adversarially induces the overall feature learning module to generate emotion-related but domain-invariant feature, which can further promote EEG emotion recognition. We conduct experiments on three public EEG emotional datasets, and the experiments show that the new state-of-the-art results can be achieved.

研究の動機と目的

• 感情処理における半球間非対称性に関する既知の神経科学的知見を活用して、EEG信号から判別可能な特徴を抽出する課題に取り組む。
• 分類性能の向上を図るために、左脳半球と右脳半球の間の非対称的差異を明示的にモデル化・学習する深層学習フレームワークを開発する。
• ドメイン識別器を統合することで、トレーニングデータとテストデータ間のドメインシフトを低減し、感情に依存しないが感情を判別可能な特徴を学習する。
• 左半球または右半球のデータのみを用いた場合と、全半球間モデリングを用いた場合の性能を比較することで、バイヘミスフィア的乖離の有効性を検証する。

提案手法

• 左右の脳半球におけるEEG電極間の空間的・時間的依存関係をモデル化するために、水平方向および垂直方向の4つの有向RNNを用いる。これにより、内在的な空間的構造が保持される。
• ペアワイズサブネットワークを設計し、左半球および右半球の表現間の乖離から高次特徴を抽出する。
• 特徴学習モジュールにドメイン識別器を統合し、敵対的にドメイン不変で感情関連の特徴を学習するよう促進することで、ドメインシフトを低減する。
• 被験者依存および被験者非依存の評価プロトコルを用いて、3つの公開EEG感情認識データセット（SEED, SEED-IV, MPED）上で、モデルをエンドツーエンドで訓練する。
• 空間的特徴抽出の最適化のために、水平方向のみ、垂直方向のみ、および両方を組み合わせたRNN走査の比較を行い、方向の影響を性能に与える要因を評価する。

実験結果

リサーチクエスチョン

• RQ1 EEG信号におけるバイヘミスフィア的乖離を明示的にモデル化することで、感情認識の性能が向上するか？
• RQ2 前頭前野と側頭連合野のどちらの脳領域が、EEGを用いた感情認識においてより優れた性能を示すか？
• RQ3 EEG信号に基づく感情認識において、左半球が右半球よりも情報量が多いとされるか？
• RQ4 水平方向および垂直方向の双方向RNNを用いることで、EEG電極間の空間的依存関係をどれほど効果的に捉えられるか？
• RQ5 敵対的ドメイン適応は、異なるデータドメイン間でのモデル一般化をどの程度向上させるか？

主な発見

• 提案されたBiHDMは、被験者依存評価においてSEEDデータセットで93.12%の正確性を達成し、被験者非依存評価においてSEED-IVデータセットで74.35%の正確性を達成し、最先端の性能を示した。
• 側頭連合野の電極が前頭前野の電極を常に上回り、SEEDデータセットの被験者依存設定において、9個の側頭連合野電極のみを用いても90.16%の正確性を達成した。
• 左半球のデータのみを用いた場合、SEEDデータセットで86.63%の正確性を達成し、右半球（86.39%）を上回った。これは、テストされたデータセットにおいて左半球が感情処理と強く関連していることを示唆している。
• 水平方向および垂直方向の両方のRNNを用いることで、93.12%の高い性能が得られ、一方方向のみ（水平：87.47%、垂直：86.75%）を用いた場合よりも顕著に向上した。これは、多方向の空間的モデリングの重要性を裏付けている。
• ドメイン識別器はドメインシフトを効果的に低減し、被験者非依存実験における一般化性能が向上した。SEEDでは85.40%、SEED-IVでは69.03%の正確性を達成した。