[논문 리뷰] A Spatial-Spectral and Temporal Dual Prototype Network for Motor Imagery Brain-Computer Interface

Can Han, Chen Liu외 4명|arXiv (Cornell University)|2024. 07. 03.

EEG and Brain-Computer InterfacesNeuroscience인용 수 3

한 줄 요약

이 논문은 모터 이미지레이션 EEG 복원을 위한 경량 이중 프로토타입 네트워크인 EDPNet을 제안한다. 이는 적응형 공간-주파수 융합과 다중 척도 분산 풀링을 통합하여 분류 가능한 특징을 추출하며, 소규모 데이터셋에서의 일반화 능력을 향상시키기 위해 이중 프로토타입 학습을 적용한다. EDPNet은 최소한의 파라미터와 FLOPs로 BCI 대회 IV 2a에서 최고 성능인 정확도 84.11%와 카파 0.7881을 달성하여 실시간 BCI 응용 분야에서 높은 효율성과 강건성을 입증한다.

ABSTRACT

Motor imagery electroencephalogram (MI-EEG) decoding plays a crucial role in developing motor imagery brain-computer interfaces (MI-BCIs). However, decoding intentions from MI remains challenging due to the inherent complexity of EEG signals relative to the small-sample size. To address this issue, we propose a spatial-spectral and temporal dual prototype network (SST-DPN). First, we design a lightweight attention mechanism to uniformly model the spatial-spectral relationships across multiple EEG electrodes, enabling the extraction of powerful spatial-spectral features. Then, we develop a multi-scale variance pooling module tailored for EEG signals to capture long-term temporal features. This module is parameter-free and computationally efficient, offering clear advantages over the widely used transformer models. Furthermore, we introduce dual prototype learning to optimize the feature space distribution and training process, thereby improving the model's generalization ability on small-sample MI datasets. Our experimental results show that the SST-DPN outperforms state-of-the-art models with superior classification accuracy (84.11% for dataset BCI4-2A, 86.65% for dataset BCI4-2B). Additionally, we use the BCI3-4A dataset with fewer training data to further validate the generalization ability of the proposed SST-DPN. We also achieve superior performance with 82.03% classification accuracy. Benefiting from the lightweight parameters and superior decoding accuracy, our SST-DPN shows great potential for practical MI-BCI applications. The code is publicly available at https://github.com/hancan16/SST-DPN.

연구 동기 및 목표

• 모터 이미지레이션 복원을 위한 EEG 신호의 낮은 신호 대비 잡음 비율과 복잡한 시공간 동역학 문제를 해결한다.
• 대규모 데이터나 복잡한 사전 처리가 필요 없이도 소규모 학습 데이터의 한계를 극복하고 모델의 일반화 능력을 향상시킨다.
• 실시간 및 자원 제약이 있는 BCI 시스템에 적합한 계산 효율성이 높은 딥 러닝 모델을 개발한다.
• 새로운 이중 프로토타입 학습 프레임워크를 통해 클래스 간 간격과 클래스 내 밀집도를 명시적으로 모델링하여 특징의 분류 능력을 향상시킨다.

제안 방법

• 전극 간 상호관계를 모델링하고 공간-주파수 특징 표현을 향상시키기 위해 경량 자기주의 메커니즘을 사용하는 적응형 공간-주파수 융합(Adaptive Spatial-Spectral Fusion, ASSF) 모듈을 도입한다.
• 추가적인 학습 가능한 파라미터가 없이도 다중 척도에서 장거리 시간적 의존성을 추출하기 위해 파라미터 없는 다중 척도 분산 풀링(Multi-scale Variance Pooling, MVP) 모듈을 구현한다.
• 프로토타입 위치와 특징 분포를 동시에 최적화하여 클래스 간 간격을 증대하고 클래스 내 밀집도를 향상시키는 이중 프로토타입 학습(Dual Prototypical Learning, DPL)을 제안한다.
• 단지 15.21만 개의 파라미터와 965만 개의 FLOPs를 가지는 경량 네트워크 아키텍처를 설계하여 사전 처리 없이도 고속 추론이 가능하도록 한다.
• 특징 프로토타입이 해당 클래스의 특징과 더 가까워지고 다른 클래스의 특징과는 더 멀어지도록 유도하는 대비 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 신경생리학적 사전 지식(예: ERD/ERS 패턴)을 활용하여 특징 추출 모듈의 설계를 안내한다.

실험 결과

연구 질문

• RQ1 광범위한 데이터 사전 처리나 대규모 미세조정이 필요 없이도 경량 딥 러닝 모델이 소규모 데이터셋에서 최고 성능을 달성할 수 있는가?
• RQ2 기존의 프로토타입 학습 대비 이중 프로토타입 학습이 소규모 모터 이미지레이션 EEG 데이터셋에서 모델의 일반화 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 전극 수준의 공간-주파수 관계를 모델링함으로써 제안된 적응형 공간-주파수 융합 모듈이 특징 표현을 얼마나 향상시키는가?
• RQ4 추가적인 파라미터 없이도 다중 척도 분산 풀링 모듈이 EEG 신호의 장기적 시간적 동역학을 효과적으로 포착하는가?
• RQ5 기존의 최고 성능 모델들과 비교했을 때 제안된 EDPNet이 계산 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• EDPNet은 BCI 대회 IV 2a에서 84.11%의 분류 정확도와 0.7881의 카파를 기록하여 모든 최고 성능 모델보다 두 지표에서 뛰어난 성능을 보였다.
• BCI 대회 IV 2b에서는 86.65%의 정확도와 0.7330의 카파를 달성하여 다양한 데이터셋 간의 강력한 일반화 능력을 입증했다.
• 단지 15.21만 개의 파라미터와 965만 개의 FLOPs를 가지며, 복잡한 사전 처리를 사용하는 모델들조차도 포함해 모든 비교 모델 중에서 가장 낮은 계산 비용을 기록했다.
• 제한된 학습 데이터로도 BCI 대회 III IVa에서 82.03%의 정확도를 달성하여 저자원 환경에서의 강건성을 확인했다.
• 특징 노름 시각화 결과에 따르면, 표준 프로토타입 학습 대비 DPL이 더 큰 클래스 간 간격과 더 밀집된 클래스 내 특징을 유도하는 것으로 확인되었다.
• EDPNet은 밴드패스 필터링이나 유클리드 정렬 등의 사전 처리가 전혀 필요 없어 더 빠른 추론 속도를 제공하고 실시간 BCI 시스템에 더 적합하다.