[논문 리뷰] Deep Riemannian Networks for End-to-End EEG Decoding

Daniel J. Wilson, Robin Tibor Schirrmeister외 2명|arXiv (Cornell University)|2022. 12. 20.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

이 논문은 원시 EEG 데이터로부터 직접 최적의 주파수 필터를 학습하는 새로운 엔드 투 엔드 딥 리만 네트워크인 EE(G)-SPDNet을 제안한다. 이는 대칭 양의 정수형 행렬(SPD) 프레임워크 내에서 컨볼루션 레이어를 활용한 것으로, 공개 EEG 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이 모델은 전통적인 필터뱅크 기반 방법과 표준 ConvNet을 모두 능가하며, 생리학적으로 타당한 주파수 대역을 학습한다. 그러나 깊이 있는 레이어에서 리만 기반 정보가 손실될 수 있음을 드러낸다.

ABSTRACT

State-of-the-art performance in electroencephalography (EEG) decoding tasks is currently often achieved with either Deep-Learning (DL) or Riemannian-Geometry-based decoders (RBDs). Recently, there is growing interest in Deep Riemannian Networks (DRNs) possibly combining the advantages of both previous classes of methods. However, there are still a range of topics where additional insight is needed to pave the way for a more widespread application of DRNs in EEG. These include architecture design questions such as network size and end-to-end ability. How these factors affect model performance has not been explored. Additionally, it is not clear how the data within these networks is transformed, and whether this would correlate with traditional EEG decoding. Our study aims to lay the groundwork in the area of these topics through the analysis of DRNs for EEG with a wide range of hyperparameters. Networks were tested on five public EEG datasets and compared with state-of-the-art ConvNets. Here we propose EE(G)-SPDNet, and we show that this wide, end-to-end DRN can outperform the ConvNets, and in doing so use physiologically plausible frequency regions. We also show that the end-to-end approach learns more complex filters than traditional band-pass filters targeting the classical alpha, beta, and gamma frequency bands of the EEG, and that performance can benefit from channel specific filtering approaches. Additionally, architectural analysis revealed areas for further improvement due to the possible under utilisation of Riemannian specific information throughout the network. Our study thus shows how to design and train DRNs to infer task-related information from the raw EEG without the need of handcrafted filterbanks and highlights the potential of end-to-end DRNs such as EE(G)-SPDNet for high-performance EEG decoding.

연구 동기 및 목표

• EEG 디코딩을 위해 수작업으로 구성된 필터뱅크를 회피하는 엔드 투 엔드 딥 리만 네트워크(Deep Riemannian Network, DRN)를 개발하는 것.
• 네트워크의 깊이와 넓이와 같은 아키텍처 선택이 EEG용 DRN의 성능에 미치는 영향을 조사하는 것.
• 엔드 투 엔드 DRN이 고전적 대역통과 필터보다 더 복잡하고 생리학적으로 타당한 주파수 필터를 학습하는지 분석하는 것.
• 리만 기하학이 특징 표현과 분류 성능에 미치는 영향을 평가하는 것.
• 특정 리만 기반 정보가 특징 변환 과정에서 손실될 수 있는 아키텍처적 한계를 규명하는 것.

제안 방법

• 엔드 투 엔드 DRN인 EE(G)-SPDNet을 제안하며, 이는 넓은 구조로 구성되어 있으며, SPD 행렬 프레임워크 내에서 주파수 필터뱅크 학습을 위한 학습 가능한 컨볼루션 레이어를 통합한다.
• 모델 성능 향상을 위해 하이퍼파rameter, 특히 필터뱅크 설계를 포함한 검색을 위해 베이지안 최적화(BO) 전략을 사용한다.
• EEG 공분산에서 유도된 대칭 양의 정수형(SPD) 행렬을 사용하여 다변량 뇌 신호를 리만 다양체 상에서 표현한다.
• Log-Euclidean 및 애파인-불변 리만 거리 측도와 같은 리만 거리 측도를 사용하여 SPD 공간 내에서 거리와 변환을 계산한다.
• 데이터가 네트워크를 통해 어떻게 변환되는지 시각화하고 특징 학습을 평가하기 위해 계층별(Layer-by-Layer, LBL) 분석을 수행한다.
• 학습된 특징의 특이성 평가를 위해 전통적인 리만 기반 및 유클리드 기반 분류기(rSVM, SVM 등)와 엔드 투 엔드 모델을 비교한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 리만 네트워크는 수작업으로 구성된 필터뱅크 없이도 최적의 생리학적으로 타당한 주파수 필터를 EEG 디코딩에 대해 학습할 수 있는가?
• RQ2 DRN 아키텍처의 깊이와 넓이가 EEG 데이터의 분류 성능에 미치는 영향은 어떠한가?
• RQ3 DRN에서 엔드 투 엔드 학습 과정이 고전적인 EEG 주파수 대역(예: 알파, 베타, 감마)과 일치하는 필터를 생성하는가?
• RQ4 리만 기반 특징은 얼마나 잘 네트워크 전반에 걸쳐 유지되는가? 어디서 정보가 손실될 수 있는가?
• RQ5 베이지안 최적화는 고차원의 필터뱅크 및 네트워크 하이퍼파rameter 공간을 효과적으로 탐색하여 EEG 디코딩 정확도를 향상시킬 수 있는가?

주요 결과

• EE(G)-SPDNet은 공개 EEG 데이터셋에서 Deep4Net과 ShallowFBCSPNet과 같은 최신 기술 수준의 모델들보다 통계적으로 유의미한 성능 향상을 달성했다.
• 모델은 알파 및 베타와 같은 생리학적으로 관련성이 있는 EEG 대역에 대응하는 주파수 필터를 학습하여 생물학적 타당성을 입증했다.
• 엔드 투 엔드 학습을 통해 네트워크는 고전적 대역통과 필터링을 초월한 비선형적이고 복잡한 필터 응답을 학습할 수 있었다.
• 계층별 분석 결과, 더 깊은 레이어에서 리만 기반 정보가 손실될 수 있음을 확인하여 아키텍처 개선의 필요성을 시사했다.
• rSVM 분류기의 성능이 깊은 레이어에서 감소하여, 리만 변환이 네트워크 전반에서 항상 최적으로 유지되지 않는다는 점을 시사했다.
• 베이지안 최적화가 높은 성능을 보이는 아키텍처를 성공적으로 탐색했으며, 결과적으로 BO-SPDNet 모델은 다양한 데이터셋에서 우수한 일반화 능력을 보였다.