[논문 리뷰] Transformer-based Spatial-Temporal Feature Learning for EEG Decoding

Yonghao Song, Xueyu Jia외 2명|arXiv (Cornell University)|2021. 06. 11.

EEG and Brain-Computer Interfaces참고 문헌 54인용 수 93

한 줄 요약

논문은 S3T를 도입하는데, 작은 Transformer 기반 EEG 해독 모델로 공간 피처-채널 주의와 작은 시간 슬라이스에 걸친 시간 주의를 사용해 파라미터 수가 적으면서도 현 상태에 준하는 성능을 달성한다.

ABSTRACT

At present, people usually use some methods based on convolutional neural networks (CNNs) for Electroencephalograph (EEG) decoding. However, CNNs have limitations in perceiving global dependencies, which is not adequate for common EEG paradigms with a strong overall relationship. Regarding this issue, we propose a novel EEG decoding method that mainly relies on the attention mechanism. The EEG data is firstly preprocessed and spatially filtered. And then, we apply attention transforming on the feature-channel dimension so that the model can enhance more relevant spatial features. The most crucial step is to slice the data in the time dimension for attention transforming, and finally obtain a highly distinguishable representation. At this time, global averaging pooling and a simple fully-connected layer are used to classify different categories of EEG data. Experiments on two public datasets indicate that the strategy of attention transforming effectively utilizes spatial and temporal features. And we have reached the level of the state-of-the-art in multi-classification of EEG, with fewer parameters. As far as we know, it is the first time that a detailed and complete method based on the transformer idea has been proposed in this field. It has good potential to promote the practicality of brain-computer interface (BCI). The source code can be found at: extit{https://github.com/anranknight/EEG-Transformer}.

연구 동기 및 목표

• CNN/RNN를 넘어서는 전역 의존성 모델링으로 EEG 해독의 동기를 제시한다.
• EEG 데이터에 맞춘 경량 Transformer 유사 아키텍처를 제안한다.
• 특징 채널의 선택적 가중치 부여와 시간적 의존성 포착을 가능하게 한다.
• 더 적은 파라미터로 공개 모터 이미저리 EEG 데이터셋에서 경쟁력 있는 성능을 입증한다.

제안 방법

• 밴드패스 필터링과 CSP에서 영감을 얻은 공간 필터링을 일대다 전략으로 적용하여 EEG를 전처리한다.
• 시간 처리 전에 공간 채널 가중치를 주기 위해 특징 채널 주의(attention)를 적용한다.
• 합성곱 기반 위치 인코딩과 다중 헤드 시간 주의로 시간적 의존성을 포착한다.
• 데이터를 작은 시간 슬라이스로 나누고 잔차 연결과 FF 블록이 있는 시간 주의를 적용한다.
• 전역 평균 풀링 후 간단한 완전 연결 층과 크로스 엔트로피 손실로 분류한다.

실험 결과

연구 질문

• RQ1 경량 Transformer 기반 모델이 공간적 및 시간적 의존성을 포착하여 EEG를 효과적으로 해독할 수 있는가?
• RQ2 특징 채널에 대한 주의가 전통적 CSP 기반 또는 CNN/RNN 방식에 비해 다중 클래스 EEG 구분력을 향상시키는가?
• RQ3 시간 슬라이스 크기와 위치 인코딩이 EEG 해독 성능에 미치는 영향은 무엇인가?
• RQ4 S3T가 공개 MI-EEG 데이터셋에서 정확도와 파라미터 효율성 면에서 최첨단 기준선과 어떻게 비교되는가?

주요 결과

Table/Result Type	Metric/Column1	Metric/Column2	Metric/Column3	Metric/Column4	Metric/Column5	Additional Notes
Table I: Scoring performance (OVR per dataset)	2a	c0	91.30	83.33	75.60	95.72	79.28
	2a	c1	91.48	81.88	84.33	93.84	83.09
	2a	c2	92.03	87.84	83.87	95.32	85.81
	2a	c3	90.37	77.40	85.61	91.91	81.30
Table I: Scoring performance (OVR per dataset)	2b	c0	84.26	83.09	85.87	82.66	84.46
	2b	c1	84.26	85.50	82.66	85.87	84.06
Table II: Baseline comparison on 2a (averages)	Method	S01	S02	S03	S04	S05	S06	S07	S08	S09	Average	std	significance	Params
FBCSP	2a	76.00	56.50	81.25	61.00	55.00	45.25	82.75	81.25	70.75	67.75	12.94	p < 0.01	—
ConvNet	2a	76.39	55.21	89.24	74.65	56.94	54.17	92.71	77.08	76.39	72.53	13.42	p < 0.01	295.25k
EEGNet	2a	85.76	61.46	88.54	67.01	55.90	52.08	89.58	83.33	86.81	74.50	14.36	p < 0.01	1.46k
C2CM	2a	87.50	65.28	90.28	66.67	62.5	45.49	89.58	83.33	79.51	74.46	14.45	p < 0.01	36.68k
CNN+LSTM	2a	85.00	54.00	87.00	78.00	77.00	66.00	95.00	83.00	90.00	80.00	11.97	p = 0.0961	8.57k
DFL	2a	91.31	71.62	92.32	78.38	80.10	61.62	92.63	90.30	78.38	81.85	10.15	p = 0.0774	30.69k
Ours	2a	91.67	71.67	95.00	78.33	61.67	66.67	96.67	93.33	88.33	82.59	—	8.68k
FBCSP	2b	70.00	60.36	60.94	97.50	93.12	80.63	78.13	92.50	86.88	80.00	13.06	p < 0.05	—
ConvNet	2b	76.56	50.00	51.56	96.88	93.13	85.31	83.75	91.56	85.62	79.37	16.27	p < 0.05	295.23k
EEGNet	2b	68.44	57.86	61.25	90.63	80.94	63.13	84.38	93.13	83.13	75.88	12.57	p < 0.01	1.15k
MSCNN	2b	80.56	65.44	65.97	99.32	89.19	86.11	81.25	88.82	86.81	82.61	10.44	p < 0.05	24.99k
Ours	2b	81.67	68.33	66.67	98.33	88.33	90.00	85.00	93.33	86.67	84.26	10.03	—	6.50k

• S3T는 많은 기준선보다 적은 파라미터로 BCI Competition IV 데이터셋 2a 및 2b에서 경쟁력 있는 정확도를 달성한다.
• 시간 슬라이스에 대한 주의인 시간 변환이 백본이며, 제거하면 성능이 현저히 감소한다.
• 특징 채널 주의를 통한 공간 변환은 특히 구분이 어려운 피험자에게 추가 이점을 제공한다.
• 컨볼루션 블록을 통한 위치 인코딩은 성능을 크게 향상시키며 제거 시 손실이 관찰된다.
• 절제 및 파라미터 민감도 분석은 S3T의 파라미터 변화에 대한 강건성과 시간 주의의 가치를 보여준다.