[論文レビュー] 4D Attention-based Neural Network for EEG Emotion Recognition

Xiao Guo-wen, Mengwen Ye+3 more|arXiv (Cornell University)|Jan 14, 2021

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、EEG感情認識のための4次元アテンションベースのニューラルネットワーク（4D-aNN）を提案する。原始的なEEG信号を4次元の空間的・スペクトル的・時間的表現に変換し、CNN-LSTMアーキテクチャ内でのスペクトル的・空間的・時間的アテンション機構を活用する。本モデルは、被験者内評価においてSEEDデータセットで最先端の性能を達成し、重要なEEG特徴を捉えるためにマルチドメインアテンションの有効性を示している。

ABSTRACT

Electroencephalograph (EEG) emotion recognition is a significant task in the brain-computer interface field. Although many deep learning methods are proposed recently, it is still challenging to make full use of the information contained in different domains of EEG signals. In this paper, we present a novel method, called four-dimensional attention-based neural network (4D-aNN) for EEG emotion recognition. First, raw EEG signals are transformed into 4D spatial-spectral-temporal representations. Then, the proposed 4D-aNN adopts spectral and spatial attention mechanisms to adaptively assign the weights of different brain regions and frequency bands, and a convolutional neural network (CNN) is utilized to deal with the spectral and spatial information of the 4D representations. Moreover, a temporal attention mechanism is integrated into a bidirectional Long Short-Term Memory (LSTM) to explore temporal dependencies of the 4D representations. Our model achieves state-of-the-art performance on the SEED dataset under intra-subject splitting. The experimental results have shown the effectiveness of the attention mechanisms in different domains for EEG emotion recognition.

研究の動機と目的

• EEG信号における多様な分野（空間的・スペクトル的・時間的）の情報を効果的に活用する課題に対処すること。
• EEGデータの複雑な空間時間的およびスペクトル的ダイナミクスを捉える統合的な深層学習フレームワークを構築すること。
• 4次元アテンションを活用することで、被験者内EEG感情認識の最先端性能を向上させること。
• EEGベースの感情認識におけるモデルの解釈可能性と性能向上を高めるために、アテンション機構の有効性を検証すること。

提案手法

• 多様な分野の情報を保持するように、原始的なEEG信号を4次元の空間的・スペクトル的・時間的表現に変換すること。
• 周波数帯域および脳領域ごとに重要度を動的に割り当てるために、スペクトル的および空間的アテンション機構を適用すること。
• 3次元畳み込みニューラルネットワーク（CNN）を用いて、4次元表現からの階層的な空間的・スペクトル的特徴を抽出すること。
• 双方向LSTMと時間的アテンション機構を統合し、時間軸に沿った順序依存性をモデル化すること。
• アテンションで調整されたCNNと時間的LSTMの出力を統合し、最終的な感情分類を実行すること。
• SEEDデータセット上で交差エントロピー損失を用いた教師あり学習により、エンドツーエンドの4D-aNNモデルを訓練すること。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、感情認識のためのEEG信号における関連するスペクトル的・空間的・時間的パターンを効果的に捉えることができるか？
• RQ2 2次元または3次元表現と比較して、4次元表現の統合はEEGベースの感情認識において性能をどのように向上させるか？
• RQ3 スペクトル的および空間的アテンション機構は、EEGデータにおける特徴学習とモデルの解釈可能性をどの程度向上させるか？
• RQ4 提案された4D-aNNは、SEEDデータセットにおける被験者内評価で、既存の最先端モデルを上回る性能を示すか？
• RQ5 EEGパターンの被験者間差異に対して、モデルの頑健性はどの程度高いか？

主な発見

• 4D-aNNは、被験者内交差検証においてSEEDデータセットで最先端の性能を達成し、優れた一般化性能と精度を示した。
• スペクトル的・空間的・時間的アテンション機構の統合により、アテンションなしのベースラインモデルと比較して、モデル性能が顕著に向上した。
• アテンション機構は、感情状態に関連する特徴的な脳領域および周波数帯域を効果的に強調し、モデルの解釈可能性を向上させた。
• 3次元-CNN部は、4次元表現からの複雑な空間的・スペクトル的パターンを効果的に捉え、高い特徴識別能を実現した。
• 時間的アテンションを備えた双方向LSTMは、EEGシーケンスにおける長距離の時間的依存性を効果的にモデル化し、順序的文脈理解を向上させた。
• アブレーションスタディにより、各アテンション機構（スペクトル的・空間的・時間的）が全体の性能向上に独自に寄与していることが確認された。