[논문 리뷰] Converting Your Thoughts to Texts: Enabling Brain Typing via Deep Feature Learning of EEG Signals

Xiang Zhang, Lina Yao외 4명|arXiv (Cornell University)|2017. 09. 26.

EEG and Brain-Computer Interfaces참고 문헌 20인용 수 10

한 줄 요약

이 논문은 뇌 타이핑을 위한 강건한 뇌전도 신호 분류를 위해 합성곱 및 순환 신경망(CNN-LSTM)과 오토에인코드어를 조합한 하이브리드 딥러닝 프레임워크를 제안한다. 모델은 공개된 EEG 데이터셋에서 95.53%의 정확도를 달성했고, 실세계 데이터셋에서는 94.27%의 정확도를 기록하여 기존 최고 수준의 방법들을 능가한다. 이는 공간-시간 특징을 효과적으로 포착하고 잡음이 많은 아티팩트를 줄임으로써 달성된다.

ABSTRACT

An electroencephalography (EEG) based Brain Computer Interface (BCI) enables people to communicate with the outside world by interpreting the EEG signals of their brains to interact with devices such as wheelchairs and intelligent robots. More specifically, motor imagery EEG (MI-EEG), which reflects a subjects active intent, is attracting increasing attention for a variety of BCI applications. Accurate classification of MI-EEG signals while essential for effective operation of BCI systems, is challenging due to the significant noise inherent in the signals and the lack of informative correlation between the signals and brain activities. In this paper, we propose a novel deep neural network based learning framework that affords perceptive insights into the relationship between the MI-EEG data and brain activities. We design a joint convolutional recurrent neural network that simultaneously learns robust high-level feature presentations through low-dimensional dense embeddings from raw MI-EEG signals. We also employ an Autoencoder layer to eliminate various artifacts such as background activities. The proposed approach has been evaluated extensively on a large- scale public MI-EEG dataset and a limited but easy-to-deploy dataset collected in our lab. The results show that our approach outperforms a series of baselines and the competitive state-of-the- art methods, yielding a classification accuracy of 95.53%. The applicability of our proposed approach is further demonstrated with a practical BCI system for typing.

연구 동기 및 목표

• 운동 상상(MI-EEG) 신호에 대한 뇌전도 신호 복원 정확도를 향상시켜 실시간 뇌 타이핑을 가능하게 하기 위해.
• 낮은 신호 대 잡음 비율, 높은 차원성, 개인 간 변동성이 큰 뇌전도 신호의 과제를 해결하기 위해.
• 원시 EEG 데이터에서 공간적 및 시간적 의존성을 모두 포착하는 통합된 딥러닝 모델을 개발하기 위해.
• 오토에인코드어 레이어를 통해 아티팩트를 제거하여 수동적 특징 공학에 의존도를 줄이고 강건성을 향상시키기 위해.
• 공개 및 내부 EEG 데이터셋을 모두 활용한 실시간 뇌 타이핑 시스템을 통해 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 원시 MI-EEG 신호에서 계층적인 공간적 및 시간적 특징을 추출하기 위해 병합된 합성곱 순환 신경망(CNN-LSTM)을 사용한다.
• CNN 구성 요소는 여러 전극을 통해 EEG 신호에서 국소적인 공간 패턴과 고수준 표현을 학습한다.
• LSTM 구성 요소는 EEG 신호 스트림의 장거리 시간적 의존성과 순차적 동역학을 모델링한다.
• 입력 EEG 신호를 노이즈 제거하고 배경 잡음 및 운동 간섭과 같은 아티팩트를 제거하기 위해 오토에인코드어를 통합한다.
• CNN-LSTM에서 추출한 스택된 특징을 XGBoost 분류기로 전달하여 의도 인식 및 다중 분류를 수행한다.
• 광범위한 수동적 특징 공학 또는 도메인 전용 사전 처리 없이 원시 EEG 데이터에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 높은 정확도로 원시 MI-EEG 신호를 다중 분류 뇌 타이핑에 효과적으로 복원할 수 있는가?
• RQ2 CNN, LSTM, 오토에인코드어의 통합이 기존 방법에 비해 강건성과 분류 성능을 어떻게 향상시키는가?
• RQ3 채널 수와 기록 조건이 서로 다른 다양한 EEG 데이터셋 간에서 모델의 일반화 능력은 어느 정도인가?
• RQ4 전극 배치 및 사용자 정신 상태와 같은 실세계 구현 요소가 온라인 분류 정확도에 미치는 영향은 무엇인가?
• RQ5 최소한의 개인 맞춤 보정으로도 모델이 사람 간 독립적 상황에서 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 공개된 eegmmidb 데이터셋에서 95.53%의 분류 정확도를 기록하여 기존 최고 수준의 방법들을 뚜렷이 능가한다.
• 14채널의 내부 Emotiv 데이터셋에서 모델은 94.27%의 정확도를 달성하여 전극 수가 적은 상황에서도 강력한 일반화 능력을 보였다.
• 오프라인 환경에서는 95% 이상의 성능를 기록한 반면, 온라인 구현에서는 성능이 낮아지는 것으로 나타나 실세계의 변동성에 민감함을 보였다.
• 오토에인코드어 레이어의 통합은 EEG 신호의 노이즈와 아티팩트를 줄여 분류 안정성을 향상시켜 강건성을 향상시켰다.
• CNN-LSTM 아키텍처는 공간 패턴과 시간 역학을 효과적으로 포착하여 운동 상상 의도의 고해상도 복원을 가능하게 했다.
• 결과적으로 원시 EEG 신호에서의 딥 페처 학습이 높은 정확도로 실시간 뇌 타이핑 시스템을 실현하는 데 기여할 수 있음을 시사한다.