[논문 리뷰] Multi-Scale Neural network for EEG Representation Learning in BCI

Wonjun Ko, Eunjin Jeon외 2명|arXiv (Cornell University)|2020. 03. 02.

EEG and Brain-Computer Interfaces참고 문헌 37인용 수 5

한 줄 요약

이 논문은 뇌-컴퓨터 인터페이스(BCI)에서 뇌전도파형(EEG) 표현 학습을 위한 컴act하고 다중 척도 신경망(MSNN)을 제안한다. 이는 다중 주파수 및 시간 척도에서 공간, 스펙트럼 및 시간적 특징을 동시에 활용한다. 제안된 방법은 종단 간 학습을 통해 다중 척도 특징 추출 및 시각화 기법을 통해 일반화 능력과 해석 가능성 향상을 달성하여, 다양한 BCI 파라다임—운동 상상, 안정된 시각적 자극에 의한 자극 반응, 정신적 피로, 간질 발작 탐지—에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent advances in deep learning have had a methodological and practical impact on brain-computer interface research. Among the various deep network architectures, convolutional neural networks have been well suited for spatio-spectral-temporal electroencephalogram signal representation learning. Most of the existing CNN-based methods described in the literature extract features at a sequential level of abstraction with repetitive nonlinear operations and involve densely connected layers for classification. However, studies in neurophysiology have revealed that EEG signals carry information in different ranges of frequency components. To better reflect these multi-frequency properties in EEGs, we propose a novel deep multi-scale neural network that discovers feature representations in multiple frequency/time ranges and extracts relationships among electrodes, i.e., spatial representations, for subject intention/condition identification. Furthermore, by completely representing EEG signals with spatio-spectral-temporal information, the proposed method can be utilized for diverse paradigms in both active and passive BCIs, contrary to existing methods that are primarily focused on single-paradigm BCIs. To demonstrate the validity of our proposed method, we conducted experiments on various paradigms of active/passive BCI datasets. Our experimental results demonstrated that the proposed method achieved performance improvements when judged against comparable state-of-the-art methods. Additionally, we analyzed the proposed method using different techniques, such as PSD curves and relevance score inspection to validate the multi-scale EEG signal information capturing ability, activation pattern maps for investigating the learned spatial filters, and t-SNE plotting for visualizing represented features. Finally, we also demonstrated our method's application to real-world problems.

연구 동기 및 목표

• 기존의 CNN 기반 BCI 모델이 특징을 순차적으로 추출하여 다중 주파수 EEG 성분을 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• 활성 및 피로성 BCI 모두에 적용 가능한 일반적인 딥 러닝 프레임워크를 개발하여 파라다임 특화 특징 공학의 한계를 극복하기 위해.
• BCI 응용 분야에서 일반적으로 나타나는 저자료 환경에서 모델의 일반화 능력을 향상시키기 위해 파rameter 수를 줄이고 다중 척도 특징 표현을 강화하기 위해.
• t-SNE, 활성도 맵, 관련성 점수 분석과 같은 시각화 기법을 통해 학습된 표현의 해석 가능성을 높이기 위해.
• 졸림 상태 및 조기 간질 발작 탐지와 같은 실생활 응용 분야에서의 실용성을 입증하기 위해.

제안 방법

• 제안된 다중 척도 신경망(MSNN)은 서로 다른 커널 크기를 가진 병렬 컨볼루션 브랜치를 사용하여 다중 시간 및 스펙트럼 척도에서 특징을 동시에 추출한다.
• 각 브랜치는 원시 EEG 신호를 처리하여 국소적인 시공간-스펙트럼-시간 패턴을 포착하며, 전극 간에 공유된 가중치를 통해 공간적 관계를 모델링한다.
• 모든 브랜치의 특징는 연결되어 전역 평균 풀링 및 완전 연결 층을 거쳐 분류에 사용된다.
• 모델은 컴act한 아키텍처를 갖추어 학습 가능한 파rameter 수를 줄여 데이터가 부족한 BCI 환경에서의 일반화 능력을 향상시킨다.
• 해석 가능성은 중요도 맵(관련성 점수), 활성도 패턴 시각화, 및 특징 공간 분석을 위한 t-SNE를 통해 향상된다.
• 모델은 교차 엔트로피 손실을 사용하여 종단 간 학습되고, 다양한 파라다임에서 공개된 EEG 데이터셋을 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 다중 척도 CNN 아키텍처가 다양한 주파수 및 시간 척도에서 BCI 응용 분야에서 분류 가능한 EEG 표현을 효과적으로 학습할 수 있는가?
• RQ2 제안된 MSNN은 활성 및 피로성 BCI 파라다임에서 최신 기술 수준의 모델과 비교해 분류 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 관련성 점수, 활성도 맵, t-SNE 시각화를 통해 모델이 학습한 특징를 얼마나 잘 해석할 수 있는가?
• RQ4 다중 척도 설계는 EEG 기반 BCI 시스템에서 일반적인 저자료 환경에서 성능 향상에 기여하는가?
• RQ5 제안된 방법은 졸림 상태 및 조기 간질 발작 탐지와 같은 실생활 응용 분야에 일반화 가능한가?

주요 결과

• MSNN은 SEED-VIG 데이터셋에서 졸린 상태를 탐지하는 데 가장 높은 정밀도 스코어를 기록하여 모든 베이스라인을 압도했다.
• CHB-MIT 데이터셋에서 조기 간질 발작 탐지 시, MSNN은 간질 발작 시작 시점에 가장 안정적이고 확신 있는 예측(확률이 약 1.0에 수렴)을 보였으며, 다른 모델들은 낮거나 잘못된 신뢰도 스코어를 기록했다.
• t-SNE 시각화 결과, 최종 특징 표현 ($\mathcal{G}(\mathbf{f}_{\text{concat}}^{\text{SST}})$)이 중간 단계의 특징보다 더 높은 클래스 분류 능력을 지녔음을 확인했다.
• 활성도 패턴 맵 분석 결과, 모델이 신경생리학적으로 의미 있는 패턴—예를 들어 감각운동 리듬—에 대응하는 공간 필터를 학습했다.
• 관련성 점수 분석 결과, 모델이 다양한 EEG 주파수 대역에서 다중 척도 스펙트럼-시간 정보를 효과적으로 포착함을 입증했다.
• 모델은 운동 상상, SSVEP, 정신적 피로, 간질 발작 탐지 등 다양한 BCI 파라다임에서 최신 기술 수준의 방법보다 일관된 성능 향상을 보이며 일반화 능력 향상을 입증했다.