[논문 리뷰] Deep learning with convolutional neural networks for brain mapping and decoding of movement-related information from the human EEG.

Robin Tibor Schirrmeister, Jost Tobias Springenberg외 7명|arXiv (Cornell University)|2017. 03. 15.

EEG and Brain-Computer Interfaces인용 수 63

한 줄 요약

이 연구는 배치 정규화와 지수선형 단위(ELUs)를 갖춘 고도로 발전된 아키텍처를 사용하여 원시 인간 뇌전도(EEG)에서 직접 운동 관련 정보를 복원하기 위한 엔드 투 엔드 딥 컨volution 신경망(ConvNets)을 제안한다. 이 방법은 표준 FBCSP 알고리즘과 동등하거나 그 이상의 성능을 달성하며, 새로운 시각화 기법을 통해 ConvNets가 알파, 베타 및 고주파 대역에서의 스펙트럼 파wer 조절을 학습하고, 이들의 공간 기여도를 운동 복원에 연결함을 드러낸다.

ABSTRACT

Deep learning with convolutional neural networks (deep ConvNets) has revolutionized computer vision through end-to-end learning, i.e. learning from the raw data. Now, there is increasing interest in using deep ConvNets for end-to-end EEG analysis. However, little is known about many important aspects of how to design and train ConvNets for end-to-end EEG decoding, and there is still a lack of techniques to visualize the informative EEG features the ConvNets learn. Here, we studied deep ConvNets with a range of different architectures, designed for decoding imagined or executed movements from raw EEG. Our results show that recent advances from the machine learning field, including batch normalization and exponential linear units, together with a cropped training strategy, boosted the deep ConvNets decoding performance, reaching or surpassing that of the widely-used filter bank common spatial patterns (FBCSP) decoding algorithm. While FBCSP is designed to use spectral power modulations, the features used by ConvNets are not fixed a priori. Our novel methods for visualizing the learned features demonstrated that ConvNets indeed learned to use spectral power modulations in the alpha, beta and high gamma frequencies. These methods also proved useful as a technique for spatially mapping the learned features, revealing the topography of the causal contributions of features in different frequency bands to decoding the movement classes. Our study thus shows how to design and train ConvNets to decode movement-related information from the raw EEG without handcrafted features and highlights the potential of deep ConvNets combined with advanced visualization techniques for EEG-based brain mapping.

연구 동기 및 목표

• 손으로 만든 특징 없이 원시 EEG에서 상상 또는 실행된 운동을 엔드 투 엔드로 복원하기 위한 딥 ConvNet을 개발하고 평가하는 것.
• EEG 기반 뇌-컴퓨터 인터페이스에서 복원 성능을 향상시키는 아키텍처 및 학습 혁신을 식별하는 것.
• ConvNet이 EEG 데이터에서 학습한 정보적 특징을 해석하기 위한 새로운 시각화 기법을 개발하는 것.
• 학습된 특징을 사용하여 다양한 운동 클래스에 대해 각각의 공간적 토포그래피를 도출하는 것.

제안 방법

• 원시 시계열 데이터에서 EEG 신호 복원을 위해 특화된 여러 딥 ConvNet 아키텍처를 설계하고 훈련시켰다.
• 학습 안정성과 성능 향상을 위해 배치 정규화와 지수선형 단위(ELUs)를 통합했다.
• 제한된 EEG 데이터에서의 일반화 능력 향상과 과적합 방지를 위해 자르기 훈련 전략을 적용했다.
• 학습된 특징을 해석하기 위한 시각화 방법을 개발하여 알파, 베타, 고주파 대역 조절과 같은 주파수 대역 특화 패턴을 식별했다.
• 전극 위치 전역에서 학습된 특징의 기여도를 시각화하기 위해 공간 맵핑 기법을 사용했다.
• 손으로 만든 스펙트럼 파wer 특징에 의존하는 널리 사용되는 FBCSP 알고리즘과 성능을 비교했다.

실험 결과

연구 질문

• RQ1 딥 ConvNet은 운동 관련 작업에 대해 원시 EEG에서 전통적인 FBCSP와 경쟁하거나 슈퍼리어한 복원 성능를 달성할 수 있는가?
• RQ2 배치 정규화, ELUs, 자르기 훈련 등과 같은 아키텍처 및 학습 혁신 중에서 EEG 복원에서 ConvNet 성능 향상에 가장 크게 기여하는 것은 무엇인가?
• RQ3 ConvNet은 알파, 베타 및 고주파 대역과 같은 특정 주파수 대역에서의 스펙트럼 파워 조절을 학습하여 활용하는가?
• RQ4 새로운 시각화 기법은 ConvNet이 EEG에서 학습한 특징의 공간적 및 주파수적 패턴을 효과적으로 드러낼 수 있는가?
• RQ5 다양한 운동 클래스에 대해 학습된 특징의 인과적 기여도가 두피 전역에서 공간적으로 어떻게 분포되어 있는가?

주요 결과

• 배치 정규화와 지수선형 단위를 갖춘 제안된 딥 ConvNet 아키텍처는 표준 FBCSP 알고리즘과 동등하거나 그 이상의 복원 성능를 달성했다.
• 자르기 훈련 전략은 EEG 복원 작업에서 모델의 일반화 능력과 성능 향상에 뚜렷한 기여를 하였다.
• 시각화 기법을 통해 ConvNet이 알파, 베타 및 고주파 대역에서의 스펙트럼 파워 조절을 학습하여 탐지하는 것으로 확인되었다.
• 학습된 특징의 공간 맵핑을 통해 특히 감각운동 영역에서 두각을 나타내는 독특한 토포그래피 패턴이 드러났다.
• 학습된 특징는 사전에 고정되어 있지 않았으며, 이는 모델이 원시 EEG에서 관련된 시공간적 및 주파수적 패턴을 적응적으로 추출할 수 있음을 보여주었다.
• 딥 러닝과 고도의 시각화 기법의 조합은 원시 EEG에서 운동 관련 신경 동역학을 해석 가능한 뇌맵핑으로 가능하게 하였다.