[논문 리뷰] MAtt: A Manifold Attention Network for EEG Decoding

Yueting Pan, Jing-Lun Chou외 1명|arXiv (Cornell University)|2022. 10. 05.

EEG and Brain-Computer Interfaces인용 수 25

한 줄 요약

MAtt는 EEG 특징을 SPD 다양체로 매핑하고 시공간 동기/비동기 EEG 작업에서 해독을 개선하기 위해 매니폴드 주의 메커니즘을 사용하는 기하학적 딥러닝 모델이다.

ABSTRACT

Recognition of electroencephalographic (EEG) signals highly affect the efficiency of non-invasive brain-computer interfaces (BCIs). While recent advances of deep-learning (DL)-based EEG decoders offer improved performances, the development of geometric learning (GL) has attracted much attention for offering exceptional robustness in decoding noisy EEG data. However, there is a lack of studies on the merged use of deep neural networks (DNNs) and geometric learning for EEG decoding. We herein propose a manifold attention network (mAtt), a novel geometric deep learning (GDL)-based model, featuring a manifold attention mechanism that characterizes spatiotemporal representations of EEG data fully on a Riemannian symmetric positive definite (SPD) manifold. The evaluation of the proposed MAtt on both time-synchronous and -asyncronous EEG datasets suggests its superiority over other leading DL methods for general EEG decoding. Furthermore, analysis of model interpretation reveals the capability of MAtt in capturing informative EEG features and handling the non-stationarity of brain dynamics.

연구 동기 및 목표

• 비정상성 및 노이즈 하에서 강건한 EEG 해독을 촉진하기 위해 기하학적 딥러닝을 활용한다.
• EEG 특징의 유클리드 표현과 리만 표현을 통합하는 경량 프레임워크를 제안한다.
• SPD 행렬에서 작동하는 매니폴드 주의 메커니즘을 개발하여 시공간 패턴을 포착한다.
• 시공간 동기 및 비동기 EEG 데이터셋 전반에 걸친 일반화 가능성을 검증한다.

제안 방법

• 공간 및 시공간 표현을 위한 두 개의 합성곱 층을 통해 EEG 특징을 추출한다.
• 로그-유클리드 지표를 사용하여 유클리드 임베딩을 SPD 행렬로 변환하여 리만 처리한다.
• SPD 쿼리, 키, 값 생성을 위해 바이리니어 매핑을 사용하는 매니폴드 주의 모듈을 구현한다.
• SPD 쿼리/키 간의 유사도를 Log-Euclidean 거리로 계산하고 SPD 다양체에서 Softmax 기반 주의를 적용한다.
• 로그-유클리드 평균을 통해 주의된 SPD 값을 융합하고 분류를 위해 ReEig 및 Log 층으로 다시 유클리드 공간으로 매핑한다.
• 변환 행렬을 Stiefel 다양체에 유지하기 위해 Stiefel-다양체 그래디언트 업데이트를 사용한 교차 엔트로피 손실로 학습한다.

실험 결과

연구 질문

• RQ1 제안된 MAtt 프레임워크가 MI(비시간동기), SSVEP(시간동기), ERN 데이터셋에서 선도적인 DL 방법과 비교하여 EEG 해독 정확도를 개선할 수 있는가?
• RQ2 매니폴드 주의 메커니즘을 통해 유클리드 및 리만 표현을 통합하는 것이 EEG 신호의 일반화 및 해석 가능성을 더 높이는가?
• RQ3 모델은 비정상성과 피실험자 간 및 세션 간 가변성을 어떻게 처리하는가?
• RQ4 전반적인 성능에서 매니폴드 주의 모듈과 특징 추출기의 기여도는 무엇인가?

주요 결과

모델	MI	SSVEP	ERN
ShallowConvNet	61.84 ± 6.39	56.93 ± 6.97	71.86 ± 2.64
EEGNet	57.43 ± 6.25	53.72 ± 7.23	74.28 ± 2.47
SCCNet	71.95 ± 5.05	62.11 ± 7.70	70.93 ± 2.31
EEG-TCNet	67.09 ± 4.66	55.45 ± 7.66	77.05 ± 2.46
TCNet-Fusion	56.52 ± 3.07	45.00 ± 6.45	70.46 ± 2.94
FBCNet	71.45 ± 4.45	53.09 ± 5.67	60.47 ± 3.06
MBEEGSE	64.58 ± 6.07	56.45 ± 7.27	75.46 ± 2.34
MAtt	74.71 ± 5.01	65.50 ± 8.20	76.01 ± 2.28

• MAtt는 보고된 실험에서 MI, SSVEP, ERN 데이터셋에서 기본 DL 방법을 능가한다.
• FE+MA(제안된 방법)가 세 가지 작업 전부에서 최고 정확도를 달성하며, FE 단독 및 FE+Self-Attention 대안보다 우수하다.
• MI, SSVEP, ERN 전반에서 MAtt는 강건한 일반화 및 그래디언트 기반 로컬라이제이션을 통한 해석 가능한 특징 포착을 보여준다.
• 특징 추출과 매니폴드 주의 모듈을 결합하는 것이 가장 강한 성능을 보임을 소거 연구가 보여준다.
• 모델 해석은 EEG 신호에서 운동 피질 활동 및 mu 대역 타이밍과 일치하는 공간 패턴을 드러낸다.