[논문 리뷰] Robust and highly adaptable brain-computer interface with convolutional net architecture based on a generative model of neuromagnetic measurements.

Ivan Zubarev, Rasmus Zetter외 2명|arXiv (Cornell University)|2018. 05. 28.

EEG and Brain-Computer Interfaces인용 수 3

한 줄 요약

이 논문은 신경생리학적 해석 가능성을 위해 신호 생성 모델을 기반으로 한 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 합성곱 신경망(CNN) 아키텍처를 제안한다. MEG 데이터를 사용하며, 사건 관련 반응과 진동 활동을 높은 정확도로 복원하며, 校정 없이도 사용자 간 일반화가 가능하고, 실시간 성능을 17.0% 향상시키기 위한 점진적 업데이트를 가능하게 한다.

ABSTRACT

Deep Neural Networks have been applied very successfully in image recognition and natural language processing. Recently these powerful methods have received attention also in the brain-computer interface (BCI) community. Here, we introduce a convolutional neural network (CNN) architecture optimized for classification of brain states from non-invasive magnetoencephalographic (MEG) measurements. The model structure is motivated by a state-of-the-art generative model of the MEG signal and is thus readily interpretable in neurophysiological terms. We demonstrate that the proposed model is highly accurate in decoding event-related responses as well as modulations of oscillatory brain activity, and is robust with respect to inter-individual differences. Importantly, the model generalizes well across users: when trained on data pooled from previous users, it can successfully perform on new users. Thus, the time-consuming BCI calibration can be omitted. Moreover, the model can be incrementally updated, resulting in +8.9% average accuracy improvement in offline experiments and +17.0% in a real-time BCI. We argue that this model can be used in practical BCIs and basic neuroscience research.

연구 동기 및 목표

• 비침습적 BCI 시스템에서 높은 개인 간 변동성을 해결하기 위해, 사용자 간 일반화가 가능한 모델을 개발한다.
• 모든 사용자에 대해 동일한 데이터를 활용해 보다 이전의 보정 과정을 줄이거나 제거하기 위해, 통합된 데이터에서 유전 가능한 표현을 활용한다.
• 최신의 MEG 신호 생성 모델에 기반하여, 뇌 기능적 해석이 가능한 깊이 신경망 아키텍처를 설계한다.
• 기존의 재학습 없이 새로운 데이터로 모델을 점진적으로 업데이트함으로써 실시간 BCI 응용을 가능하게 한다.

제안 방법

• 신호 생성 모델의 구조적 및 기능적 원리를 반영한 합성곱 신경망(CNN) 아키텍처를 설계하여 뇌 기능적 해석 가능성을 확보한다.
• 여러 주체의 MEG 데이터를 통합하여 학습함으로써 사용자 간 일반화를 가능하게 하고, 개인별 校정을 제거한다.
• 기존 데이터를 다시 학습하지 않고도 새로운 사용자로부터의 새로운 데이터로 모델을 업데이트할 수 있는 점진적 학습 전략을 구현한다.
• 공간적 및 시간적 합성곱 레이어를 사용하여 MEG 센서의 시계열 데이터에서 특징을 추출함으로써, 사건 관련 반응과 진동 조절을 모두 포괄한다.
• 이진 또는 다중 클래스 뇌 상태 분류를 위해 교차 엔트로피 손실 함수를 사용한 역전파 최적화를 수행한다.
• 정확도와 적응 능력을 평가하기 위해 오프라인 분석과 실시간 BCI 실험을 모두 활용하여 모델을 검증한다.

실험 결과

연구 질문

• RQ1 기본이 되는 MEG 신호 생성 모델에 기반한 딥러닝 모델이 비침습적 MEG 데이터에서 사건 관련 반응과 진동 활동을 높은 정확도로 복원할 수 있는가?
• RQ2 제안된 CNN이 사용자별 보정 없이 얼마나 효과적으로 개인 간 일반화되는가?
• RQ3 소량의 데이터로도 점진적 모델 업데이트가 BCI 성능 향상에 얼마나 효과적인가?
• RQ4 뇌 기능적 해석 가능성을 고려한 아키텍처가 분류 정확도를 유지하거나 향상시키는 데 기여하는가?

주요 결과

• 제안된 CNN은 MEG 신호로부터 사건 관련 반응과 진동 활동 조절을 모두 높은 정확도로 복원하였다.
• 모델는 사용자 간 효과적으로 일반화되었다: 이전 참가자의 통합 데이터로 학습된 모델는 개인별 보정 없이도 새로운 사용자의 뇌 상태를 성공적으로 복원하였다.
• 점진적 모델 업데이트는 평균 8.9%의 오프라인 분류 정확도 향상을 이룩하였다.
• 실시간 BCI 실험에서 점진적 업데이트는 평균 17.0%의 분류 정확도 향상을 이끌었다.
• 생성 모델에 기반한 모델 아키텍처는 뇌 활동의 뇌 기능적 해석 가능한 표현을 제공한다.
• 시스템은 MEG 신호 패턴의 개인 간 변동성에 대해 강력한 내성적 특성을 보였다.