[논문 리뷰] Cascade and Parallel Convolutional Recurrent Neural Networks on EEG-based Intention Recognition for Brain Computer Interface

Dalin Zhang, Lina Yao외 4명|arXiv (Cornell University)|2017. 08. 22.

EEG and Brain-Computer Interfaces인용 수 70

한 줄 요약

이 논문은 원시 EEG에서 시공간 표현을 학습하는 cascade 및 parallel convolutional recurrent neural networks를 도입하여 movimento 및 지시 의도 인식을 수행하고 교차 피실험자, 다중 클래스 작업에서 약 98% 정확도와 실제 BCI 사례 연구에서 93%를 달성합니다.

ABSTRACT

Brain-Computer Interface (BCI) is a system empowering humans to communicate with or control the outside world with exclusively brain intentions. Electroencephalography (EEG) based BCIs are promising solutions due to their convenient and portable instruments. Motor imagery EEG (MI-EEG) is a kind of most widely focused EEG signals, which reveals a subjects movement intentions without actual actions. Despite the extensive research of MI-EEG in recent years, it is still challenging to interpret EEG signals effectively due to the massive noises in EEG signals (e.g., low signal noise ratio and incomplete EEG signals), and difficulties in capturing the inconspicuous relationships between EEG signals and certain brain activities. Most existing works either only consider EEG as chain-like sequences neglecting complex dependencies between adjacent signals or performing simple temporal averaging over EEG sequences. In this paper, we introduce both cascade and parallel convolutional recurrent neural network models for precisely identifying human intended movements by effectively learning compositional spatio-temporal representations of raw EEG streams. The proposed models grasp the spatial correlations between physically neighboring EEG signals by converting the chain like EEG sequences into a 2D mesh like hierarchy. An LSTM based recurrent network is able to extract the subtle temporal dependencies of EEG data streams. Extensive experiments on a large-scale MI-EEG dataset (108 subjects, 3,145,160 EEG records) have demonstrated that both models achieve high accuracy near 98.3% and outperform a set of baseline methods and most recent deep learning based EEG recognition models, yielding a significant accuracy increase of 18% in the cross-subject validation scenario.

연구 동기 및 목표

• 교차 피실험자 및 다중 클래스 설정에서 EEG 기반 의도 인식의 향상을 동기화합니다.
• Heavy preprocessing 없이 원시 EEG에서 작동하는 엔드-투-엔드 cascade 및 parallel CNN-RNN 아키텍처를 제안합니다.
• EEG 데이터의 2D 메쉬 변환을 활용하여 전극 간 공간 관계를 포착합니다.
• 대규모 공개 EEG 데이터 세트와 실제 BCI 설정에서 모델을 평가합니다.
• EEG 신호의 누락 채널 및 잡음에 대한 강건성을 입증합니다.

제안 방법

• 전극의 공간 배열에 따라 1D EEG 시퀀스를 2D EEG 매쉬로 변환합니다.
• 윈도우 내 각 매쉬에서 공간 특징을 추출하기 위해 매쉬-와이즈 2D-CNN을 적용합니다.
• 공간 특징의 시퀀스에서 시간적 역학을 포착하기 위해 stacked LSTM(RNN)을 사용합니다.
• cascade 모델에서는 공간 특징을 먼저 RNN에 입력하고 완전 연결층과 softmax를 통해 분류합니다.
• parallel 모델에서는 공간 및 시간 특징을 병렬로 추출하고 최종 softmax 전에 융합합니다.
• 다양한 융합 전략을 탐구하고 정보를 보존하기 위해 CNN 계층에서 풀링을 유지합니다.

실험 결과

연구 질문

• RQ1 cascade 및 parallel CNN-RNN 아키텍처가 원시 EEG에서 시공-시간 표현을 효과적으로 학습하여 다중 클래스 교차 피실험자 의도 인식을 달성할 수 있습니까?
• RQ2 공간(2D 매쉬) 및 시간(RNN) 정보가 1D/2D/3D CNN 기반 기준선 대비 성능에 어떤 기여를 합니까?
• RQ3 모델 깊이와 융합 전략이 인식 정확도와 일반화에 어떤 영향을 줍니까?
• RQ4 제한된 채널로 실제 세계 BCI 시스템에서 제안된 모델의 성능은 어떠합니까?
• RQ5 녹 EEG 데이터 누락에 대해 모델이 강건합니까?

주요 결과

모델	다중 클래스	검증	정확도
( ? )	Binary	Intra-Sub	0.72
( ? )	Binary	Intra-Sub	0.8206
( ? )	Binary	Cross-Sub(10)	0.8505
( ? )	Binary	Cross-Sub(105)	0.805
( ? )	Multi	Cross-Sub(20)	0.794
( ? )	Multi	Cross-Sub(108)	0.6731
1D-CNN	Multi	Cross-Sub(108)	0.8622
2D-CNN	Multi	Cross-Sub(108)	0.8841
3D-CNN	Multi	Cross-Sub(108)	0.9238
RNN(64)	Multi	Cross-Sub(108)	0.8493
RNN(16)	Multi	Cross-Sub(108)	0.7468
Cascade model	Multi	Cross-Sub(108)	0.9831
Parallel model	Multi	Cross-Sub(108)	0.9828

• cascade 및 parallel 모델은 다중 클래스 움직임 의도 인식에서 교차 피실험자 조건으로 약 98.3%에 근접한 정확도를 달성하며 최첨단 기준선을 능가합니다.
• 방법은 교차 피실험자 정확도에서 대략 18%의 향상을 통해 이전 접근법을 크게 능가합니다.
• 14채널의 실제 BCI 사례 연구에서 모델은 다섯 가지 지시 의도에 대해 최대 93%의 정확도에 도달합니다.
• 2D-CNN(공간) 정보는 1D-CNN 기준선보다 성능을 향상시키고, LSTM 계층을 통한 시간 정보는 2D-CNN 이상으로 상당한 이점을 제공합니다.
• 3D-CNN 기준선은 경쟁력이 있지만 cascade/parallel RNN이 포착하는 전역 시간 표현에 미치지 못합니다.
• 모델 변형 중 더 깊은 CNN 및 추가 LSTM 계층이 정확도를 향상시키고, cascade 및 parallel 모델이 약 98%에 수렴합니다.