[論文レビュー] Deep Riemannian Networks for End-to-End EEG Decoding

Daniel J. Wilson, Robin Tibor Schirrmeister+2 more|arXiv (Cornell University)|Dec 20, 2022

EEG and Brain-Computer Interfaces被引用数 10

ひとこと要約

本稿では、EE(G)-SPDNetを提案する。これは、対称正定値（SPD）行列フレームワーク内での畳み込み層を用いて、生のEEGデータから最適な周波数フィルタを直接学習する、新しいエンド・ツー・エンドのディープ・リーマンネットワークである。このモデルは、生理学的に妥当な周波数帯を学習することで、標準的なConvNetや従来のフィルタバンクベースの手法を上回り、公開のEEGデータセットで最先端の性能を達成した。一方で、深層部ではリーマン固有の情報が失われる可能性があることが明らかになった。

ABSTRACT

State-of-the-art performance in electroencephalography (EEG) decoding tasks is currently often achieved with either Deep-Learning (DL) or Riemannian-Geometry-based decoders (RBDs). Recently, there is growing interest in Deep Riemannian Networks (DRNs) possibly combining the advantages of both previous classes of methods. However, there are still a range of topics where additional insight is needed to pave the way for a more widespread application of DRNs in EEG. These include architecture design questions such as network size and end-to-end ability. How these factors affect model performance has not been explored. Additionally, it is not clear how the data within these networks is transformed, and whether this would correlate with traditional EEG decoding. Our study aims to lay the groundwork in the area of these topics through the analysis of DRNs for EEG with a wide range of hyperparameters. Networks were tested on five public EEG datasets and compared with state-of-the-art ConvNets. Here we propose EE(G)-SPDNet, and we show that this wide, end-to-end DRN can outperform the ConvNets, and in doing so use physiologically plausible frequency regions. We also show that the end-to-end approach learns more complex filters than traditional band-pass filters targeting the classical alpha, beta, and gamma frequency bands of the EEG, and that performance can benefit from channel specific filtering approaches. Additionally, architectural analysis revealed areas for further improvement due to the possible under utilisation of Riemannian specific information throughout the network. Our study thus shows how to design and train DRNs to infer task-related information from the raw EEG without the need of handcrafted filterbanks and highlights the potential of end-to-end DRNs such as EE(G)-SPDNet for high-performance EEG decoding.

研究の動機と目的

• EEGデコーディングのための、手作業で設計されたフィルタバンクを回避するエンド・ツー・エンドのディープ・リーマンネットワーク（DRN）の開発。
• ネットワークの深さや幅といったアーキテクチャの選択が、EEG用DRNにおける性能に与える影響の調査。
• エンド・ツー・エンドのDRNが、古典的なバンドパスフィルタよりも、より複雑で生理学的に妥当な周波数フィルタを学習するかの分析。
• リーマン幾何学が特徴表現および分類性能に与える影響の評価。
• アーキテクチャ上の制限、特に特徴変換過程でのリーマン固有情報の損失の特定。

提案手法

• 生のEEGデータから直接周波数フィルタバンクを学習可能な、学習可能な畳み込み層を統合した、広いエンド・ツー・エンドのDRN、すなわちEE(G)-SPDNetを提案。
• ハイパーパラメータ、特にフィルタバンク設計の最適化を図るため、ベイズ最適化（BO）戦略を採用。
• EEG共分散から導出される対称正定値（SPD）行列を用いて、多次元脳信号をリーマン多様体上で表現。
• Log-Euclideanやアフィン不変リーマン距離などのリーマン距離を用いて、SPD空間内での距離計算および変換を実行。
• データがネットワーク内でどのように変換されるかを可視化し、特徴学習の状態を評価するため、レイヤーバイレイヤー（LBL）解析を実施。
• 学習済み特徴の特異性を評価するため、従来のリーマン的およびユークリッド的分類器（例：rSVM、SVM）とエンド・ツー・エンドモデルを比較。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのディープ・リーマンネットワークは、手作業で設計されたフィルタバンクを一切用いずに、最適で生理学的に妥当なEEG周波数フィルタを学習できるか？
• RQ2 DRNアーキテクチャの深さと幅は、EEGデータの分類性能にどのように影響するか？
• RQ3 DRNにおけるエンド・ツー・エンド学習プロセスは、古典的なEEG周波数帯（例：アルファ、ベータ、ガンマ）と整合するフィルタを生成するか？
• RQ4 リーマン固有の特徴はどの程度ネットワーク全体で保持されており、どこで情報が失われる可能性があるか？
• RQ5 ベイズ最適化は、フィルタバンクおよびネットワークハイパーパラメータの高次元空間を効果的に探索でき、EEGデコーディング精度の向上に寄与するか？

主な発見

• EE(G)-SPDNetは、Deep4Net や ShallowFBCSPNet といった最先端モデルを上回る統計的に有意な性能向上を、公開のEEGデータセットで達成した。
• モデルは、アルファ帯やベータ帯といった生理学的に関連性のあるEEG帯域に対応する周波数フィルタを学習しており、生物学的妥当性を示した。
• エンド・ツー・エンド学習により、古典的なバンドパスフィルタをはるかに超える非線形性を持つ複雑なフィルタ応答が学習可能となった。
• レイヤーバイレイヤー解析から、深層部ではリーマン固有の情報が失われる可能性があることが判明し、アーキテクチャの見直しが必要であると示唆された。
• rSVM分類器の性能が深層部で低下したため、リーマン変換がネットワーク全体で常に最適に保持されているわけではないことが示された。
• ベイズ最適化により、高性能なアーキテクチャが効果的に同定され、その結果得られたBO-SPDNetモデルは、複数のデータセットにわたる堅牢な一般化性能を示した。