[논문 리뷰] Deep Feature Mining via Attention-based BiLSTM-GCN for Human Motor Imagery Recognition

Yimin Hou, Shuyue Jia외 5명|arXiv (Cornell University)|2020. 05. 02.

EEG and Brain-Computer Interfaces참고 문헌 49인용 수 32

한 줄 요약

본 논문은 0.4s 샘플로 EEG motor imagery를 디코딩하기 위한 Attention-based BiLSTM-GCN 프레임워크를 제안하며, 그룹 수준 및 피험자 수준 정확도에서 최첨단 성능을 달성한다.

ABSTRACT

Recognition accuracy and response time are both critically essential ahead of building practical electroencephalography (EEG) based brain-computer interface (BCI). Recent approaches, however, have either compromised in the classification accuracy or responding time. This paper presents a novel deep learning approach designed towards remarkably accurate and responsive motor imagery (MI) recognition based on scalp EEG. Bidirectional Long Short-term Memory (BiLSTM) with the Attention mechanism manages to derive relevant features from raw EEG signals. The connected graph convolutional neural network (GCN) promotes the decoding performance by cooperating with the topological structure of features, which are estimated from the overall data. The 0.4-second detection framework has shown effective and efficient prediction based on individual and group-wise training, with 98.81% and 94.64% accuracy, respectively, which outperformed all the state-of-the-art studies. The introduced deep feature mining approach can precisely recognize human motion intents from raw EEG signals, which paves the road to translate the EEG based MI recognition to practical BCI systems.

연구 동기 및 목표

• 실용적인 BCI를 위한 빠르고 정확한 EEG 기반 MI 인식을 동기화하기 위해 실험 간 및 피험자 간 변이성을 해결한다.
• 원시 64채널 EEG 데이터로부터 강건한 특징을 학습하는 딥러닝 파이프라인을 개발한다.
• 그래프 기반 학습을 통해 토폴로지 특성 구조를 활용하여 디코딩을 향상시킨다.
• 그룹별 및 피험자별 평가를 통해 견고성과 재현성을 입증한다.

제안 방법

• 64-channel EEG 신호를 0.4초 구간(64x64)으로 잘라 입력으로 사용한다.
• 원시 EEG로부터 공간-시간 특징을 추출하기 위해 Attention 메커니즘이 있는 BiLSTM을 적용한다.
• 추출된 특징의 그래프 표현을 Pearson, absolute Pearson, adjacency, 및 Laplacian 행렬을 사용하여 구성한다.
• 풀링과 softmax 출력을 갖춘 여섯 층 Graph Convolutional Network (GCN)으로 그래프 구조 특징을 분류한다.
• 드롭아웃, 배치 정규화, 그리고 교차 엔트로피 손실과 함께 TensorFlow에서 end-to-end로 학습한다.
• 과적합을 방지하면서 성능을 극대화하기 위해 하이퍼파라미터를 조정한다(예: 256 BiLSTM 셀, 8 Attention 크기, 64 FC 크기).

실험 결과

연구 질문

• RQ1 Attention-based BiLSTM이 0.4s 구간의 짧은 EEG MI 특징을 표준 RNN이나 CNN보다 더 효과적으로 추출할 수 있는가?
• RQ2 추출된 특징 위에 Graph Convolutional Network를 도입하여 특징 토폴로지를 활용한 MI 분류 성능이 향상되는가?
• RQ3 MI-EEG 데이터에서 이 하이브리드 BiLSTM-GCN 접근법을 사용할 때 그룹별 및 피험자별 성능 향상은 무엇인가?

주요 결과

• 그룹별로 20명의 피험자를 대상으로 10-폴드 교차검증에서 최대 GAA 94.64%.
• 피험자별로 개별 피험자에서 최대 GAA 98.81%.
• 평균 그룹별 성능(GAA) 93.04%와 신뢰도 지표(Kappa 90.71%, Precision 93.02%, Recall 93.01%, F1 92.99%)를 달성.
• 피험자 수준 적응은 10명의 피험자에서 평균 GAA 95.48%(± 지표)로 달성.
• 본 방법은 피험자 간 변이성에 대한 견고성을 보여주고 0.4s 샘플로 시간 해상도 예측을 제공하며 다수의 최신 방법을 능가한다.