[論文レビュー] STILN: A Novel Spatial-Temporal Information Learning Network for EEG-based Emotion Recognition

Yiheng Tang, Yongxiong Wang+2 more|arXiv (Cornell University)|Nov 22, 2022

EEG and Brain-Computer Interfaces被引用数 6

ひとこと要約

本稿では、電極間の空間的相関と時間フレーム間の時間的ダイナミクスを統合的にモデル化する、EEGを用いた感情認識のための新しい深層学習フレームワーク、STILNを提案する。2次元のパワートポグラフィックマップ、CBAMアテンション、およびハイブリッド正規化を組み合わせたBi-LSTMネットワークを活用することで、DEAPデータセットにおいて、アーザル分類で68.31%、ヴァレンス分類で67.52%の精度を達成し、主観独立性能として最先端の水準に到達した。

ABSTRACT

The spatial correlations and the temporal contexts are indispensable in Electroencephalogram (EEG)-based emotion recognition. However, the learning of complex spatial correlations among several channels is a challenging problem. Besides, the temporal contexts learning is beneficial to emphasize the critical EEG frames because the subjects only reach the prospective emotion during part of stimuli. Hence, we propose a novel Spatial-Temporal Information Learning Network (STILN) to extract the discriminative features by capturing the spatial correlations and temporal contexts. Specifically, the generated 2D power topographic maps capture the dependencies among electrodes, and they are fed to the CNN-based spatial feature extraction network. Furthermore, Convolutional Block Attention Module (CBAM) recalibrates the weights of power topographic maps to emphasize the crucial brain regions and frequency bands. Meanwhile, Batch Normalizations (BNs) and Instance Normalizations (INs) are appropriately combined to relieve the individual differences. In the temporal contexts learning, we adopt the Bidirectional Long Short-Term Memory Network (Bi-LSTM) network to capture the dependencies among the EEG frames. To validate the effectiveness of the proposed method, subject-independent experiments are conducted on the public DEAP dataset. The proposed method has achieved the outstanding performance, and the accuracies of arousal and valence classification have reached 0.6831 and 0.6752 respectively.

研究の動機と目的

• 複数のEEG電極間における複雑な空間的相関を学習する課題に対処すること。
• 感情刺激中における重要なフレームを強調するために、EEG信号の時間的依存性をモデル化すること。
• バッチ正規化とインスタンス正規化の組み合わせにより、EEGデータの個人差を低減すること。
• エンドツーエンドの深層学習を用いて、EEGを用いたアーザルおよびヴァレンス分類の性能を向上させること。

提案手法

• EEG信号を2次元のパワートポグラフィックマップに変換し、電極間の空間的関係を表現する。
• パワーマップからの判別的な空間パターンを学習するため、CNNベースの空間特徴抽出ネットワークを適用する。
• 特徴マップの再スケーリングを行い、重要な脳領域および周波数帯を強調するために、畳み込みブロックアテンションモジュール（CBAM）を統合する。
• 個々の被験者間の変動を軽減するために、バッチ正規化とインスタンス正規化の組み合わせを用いる。
• EEGフレーム間の長距離時間的依存性を捉えるために、双方向LSTM（Bi-LSTM）ネットワークを採用する。
• DEAPデータセット上で、被験者独立の交差検証を用いて、エンドツーエンドのSTILNモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、感情認識のための複数のEEG電極間の空間的相関をどの程度効果的に捉えることができるか？
• RQ2 時間的ダイナミクスをモデル化することで、EEGを用いた感情分類の精度はどの程度向上するか？
• RQ3 アテンション機構は、重要な脳領域および周波数帯に注目することで、特徴表現を向上させることができるか？
• RQ4 バッチ正規化とインスタンス正規化の組み合わせは、被験者間での一般化性能にどのように影響するか？
• RQ5 提案されたSTILNモデルは、被験者独立のEEGを用いた感情認識でどの程度の性能を示すか？

主な発見

• 提案されたSTILNモデルは、DEAPデータセットにおいて、アーザル分類で被験者独立の分類精度68.31%を達成した。
• ヴァレンス分類においても、被験者独立の精度67.52%を達成し、優れた一般化性能を示した。
• CBAMアテンションの統合により、関連する脳領域および周波数帯を強調することで、特徴表現が向上した。
• バッチ正規化とインスタンス正規化の組み合わせにより、EEG信号における個人差の影響が効果的に低減された。
• Bi-LSTM部は、EEGフレーム間の長期的時間的依存性を効果的に捉え、性能向上に寄与した。
• 全体のアーキテクチャは、被験者独立のEEGを用いた感情認識分野で最先端の性能を示した。