[論文レビュー] Spatio-Temporal EEG Representation Learning on Riemannian Manifold and Euclidean Space

Guangyi Zhang, Ali Etemad|arXiv (Cornell University)|Aug 19, 2020

EEG and Brain-Computer Interfaces参考文献 75被引用数 5

ひとこと要約

本論文は、対称正定値（SPD）共分散行列のリーマン多様体上での空間的特徴の学習と、LSTMを用いたソフトアテンションによるユークリッド空間上での時間的特徴の学習を通じて、空間的・時間的EEG表現を統合的にモデル化する深層学習フレームワークを提案する。この手法は、感情認識、眠気推定、運動想起タスクの3つのEEGデータセットにおいて、SEED-VIGでは最先端の性能を達成し、他の3つのデータセットでも競争力のある結果を示した。

ABSTRACT

We present a novel deep neural architecture for learning electroencephalogram (EEG). To learn the spatial information, our model first obtains the Riemannian mean and distance from spatial covariance matrices (SCMs) on a Riemannian manifold. We then project the spatial information onto a Euclidean space via tangent space learning. Following, two fully connected layers are used to learn the spatial information embeddings. Moreover, our proposed method learns the temporal information via differential entropy and logarithm power spectrum density features extracted from EEG signals in a Euclidean space using a deep long short-term memory network with a soft attention mechanism. To combine the spatial and temporal information, we use an effective fusion strategy, which learns attention weights applied to embedding-specific features for decision making. We evaluate our proposed framework on four public datasets across three popular EEG-related tasks, notably emotion recognition, vigilance estimation, and motor imagery classification, containing various types of tasks such as binary classification, multi-class classification, and regression. Our proposed architecture outperforms other methods on SEED-VIG, and approaches the state-of-the-art on the other three datasets (SEED, BCI-IV 2A, and BCI-IV 2B), showing the robustness of our framework in EEG representation learning. The source code of our paper is publicly available at https://github.com/guangyizhangbci/EEG_Riemannian.

研究の動機と目的

• EEG空間的共分散行列（SCM）におけるユークリッド距離学習の限界、例えば膨張効果や体積伝導への感受性を解消すること。
• 二値／多値分類および回帰を含む多様なBCIタスクに一般化可能なEEG表現学習フレームワークの開発。
• 分類・回帰の意思決定を向上させるために、埋め込み特徴に特化したアテンション重みを学習することで、空間的および時間的EEG表現を効果的に統合すること。
• 空間的および時間的ストリームからの補完的情報を活用することで、性能が低い被験者における性能を向上させること。
• リーマン多様体学習における課題、特にSPD行列をユークリッド空間に投影することと、異種表現の有効な統合を克服すること。

提案手法

• 多チャネルEEG信号から空間的共分散行列（SCM）を計算し、空間的脳活動を表現する。
• リーマン幾何学を用いた空間的情報の学習：SPD多様体上でのSCM間のリーマン平均および距離を計算することで、アフィン不変性を保持し、膨張効果を回避する。
• 接空間学習を用いてリーマン空間的特徴をユークリッド空間に投影し、ユークリッド距離に基づく後続の深層学習を可能にする。
• 連続するEEG時間セグメントから微分エントロピーおよび対数パワースペクトル密度を抽出して時間的特徴を抽出する。
• 時間的特徴を、動的時間的依存性を学習できるソフトアテンションを備えた深層長短期記憶（LSTM）ネットワークで処理する。
• 分類・回帰の性能を向上させるために、空間的および時間的埋め込みを、特徴に応じて適応的に重みを割り当てる学習可能なアテンションベースの統合戦略で統合する。

実験結果

リサーチクエスチョン

• RQ1 EEG空間的共分散行列に対するリーマン距離学習は、標準的なユークリッド手法に比べて表現学習を改善できるか？
• RQ2 リーマン空間的特徴とユークリッド時間的特徴を統合することで、多様なEEGタスクにおける性能にどのような影響を与えるか？
• RQ3 提案されたアテンションベースの統合機構は、単純な連結や要素ごとの演算に比べて意思決定をどの程度向上させるか？
• RQ4 特に空間的または時間的ストリームの性能が低い被験者において、モデルは性能を向上させるか？
• RQ5 本フレームワークは、感情認識、眠気推定、運動想起分類を含む複数のEEGタスクで、最先端または準最先端の性能を達成できるか？

主な発見

• SEED-VIGデータセットにおける眠気推定タスクで、本モデルは新たな最先端性能を達成し、特に性能が低い被験者において顕著な性能向上を示した。
• 感情認識タスクにおけるSEEDデータセットでは、本モデルは最先端性能に近づき、空間ストリーム単体に比べて、最も成績が悪かった被験者（No. 7）では22.06%、2番目に成績が悪かった被験者（No. 1）では16.77%の精度向上を達成した。
• BCI-IV 2aデータセットでは、時間ストリームに比べて、最も成績が悪かった被験者（No. 5）の精度が38.19%向上し、困難なケースにおける強力な一般化能力を示した。
• 学習可能なアテンション統合戦略は、4つのすべてのデータセットで単純な連結や他のベースラインを常に上回り、異種表現の統合における有効性を確認した。
• SPD多様体への低次元化されたSCMの投影による次元削減は、性能を顕著に向上させ、リーマン学習における適切な多様体投影の重要性を裏付けた。
• 本モデルは、二値分類、多値分類、回帰という異なるタスクタイプにおいても、安定した性能を示し、EEGアプリケーション分野全体における一般化能力を実証した。