[논문 리뷰] Graph Convolutional Neural Networks for analysis of EEG signals, BCI application

Mirfarid Musavian Ghazani, Anh Huy Phan|arXiv (Cornell University)|2020. 06. 16.

EEG and Brain-Computer Interfaces참고 문헌 37인용 수 4

한 줄 요약

이 논문은 뇌기반 운동 상상 BCI 응용 분야에서 원시 EEG 신호에 대해 그래프 컨volution 신경망(GCNs)의 엔드 투 엔드 학습을 위한 새로운 손실 함수로, 일반 공간 패턴(CSP)의 미분 가능하고 비선형적인 확장인 DeepCSP를 제안한다. 미분 가능한 방식으로 선형으로 분리 가능한 공간 필터를 학습함으로써, DeepCSP는 EEG 데이터셋에서 분류 정확도를 향상시키며, GCN 기반 모델이 BCI 경쟁 대회 IV-2a 및 운동 상상 데이터셋과 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Decoding brain signals has gained many attention and has found much applications in recent years such as Brain Computer Interfaces, communicating with controlling external devices using the user's intentions, occupies an emerging field with the potential of changing the world, with diverse applications from rehabilitation to human augmentation. This being said brain signal analysis, EEG brain signal analysis in particular, is a challenging task. With the advances and achievements in the field of deep learning in problem solving with using only raw data, few attempts has been carried in recent years, to apply deep learning to tackle EEG among other types of brain signals. In this study, we propose a novel loss function, called DeepCSP to extend the classical Common Spatial Patterns to a non linear, differentiable module to serve as the loss function to enforce linearly separable latent representations of EEG signals belonging to different classes in an end to end manner on raw signals without the need to perform extensive feature engineering. With recent generalizations of deep learning methods to work on arbitrarily structured graphs and the introduced loss we have proposed two light weight models to decode EEG signals and carried experiments to show their performance.

연구 동기 및 목표

• BCI 응용 분야에서 EEG 신호 분류에 있어 수동적인 특징 공학 문제를 해결하기 위해.
• 기본적인 CSP 방법의 미분 가능하고 비선형적인 확장체를 개발하여 딥 네ural 네트워크와 함께 엔드 투 엔드 학습을 가능하게 하기 위해.
• 새로운 손실 함수와 그래프 컨볼루션 네트워크를 통합하여 EEG 신호의 분류 성능을 향상시키기 위해.
• 운동 상상 작업에서의 특징 학습 향상을 위해 EEG 신호를 그래프로 표현하는 효과를 탐색하기 위해.
• 확장 가능하고 학습 가능한 공간 필터링을 통해 주체 독립적인 BCI 응용을 가능하게 하기 위해.

제안 방법

• 엔드 투 엔드 학습을 위한 비선형적이고 학습 가능한 모듈로 고전적 CSP를 일반화한, 미분 가능한 손실 함수인 DeepCSP를 제안한다.
• 상전이 간 관계를 모델링하기 위해 위상 잠금 값(PLV)에서 유도된 연결성 행렬을 사용하여 EEG 신호를 그래프로 표현한다.
• 그래프 구조의 EEG 데이터에서 공간-시간 특징을 추출하기 위해 GraphSAGE를 GCN의 백본으로 사용한다.
• 경량형 CNN-GCN 아키텍처를 학습시키며, CNN/GCN에 대해 학습률 0.01, 분류기 헤드에 대해 0.1을 각각 사용한다.
• DeepCSP를 통해 학습된 공간 필터를 활용하여 뇌 활성 패턴을 해석할 수 있는 토포그라픽 지도(토포맵)를 생성한다.
• 두 단계로 구성된 학습 프로세스를 적용한다: 먼저, 일반화를 향상시키기 위해 전체 훈련 세트에서 DeepCSP를 통해 공간 필터를 최적화한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 비선형적인 CSP의 확장체가 EEG 기반 BCI 시스템에서 엔드 투 엔드 학습을 향상시킬 수 있는가?
• RQ2 EEG 신호를 그래프로 표현함으로써 운동 상상 작업에서의 분류 성능 향상에 어떤 영향을 미치는가?
• RQ3 다양한 연결성 추정 방법(예: PLV)이 GCN 기반 EEG 분류에 미치는 영향은 무엇인가?
• RQ4 DeepCSP는 알려진 신경생리학적 패턴(예: 운동 피질 활성화)과 일치하는 공간 필터를 학습할 수 있는가?
• RQ5 제안된 방법은 특히 주체 독립 설정에서 어떻게 일반화되는가?

주요 결과

• BCI 경쟁 대회 IV-2a 데이터셋에서 제안된 DeepCSP 손실은 기준 방법에 비해 분류 정확도를 크게 향상시켰다.
• 운동 상상 데이터셋에서 DeepCSP와 GCN 기반 특징 추출을 사용한 모델은 표준 CSP와 전통적 방법보다 높은 정확도를 달성했다.
• PLV를 사용한 연결성 행렬 추정이 다른 방법보다 더 뛰어난 성능을 보였으며, EEG 그래프 모델링에 적합함을 확인했다.
• DeepCSP를 통해 학습된 공간 필터는 오른손과 왼손 운동 상상에 대해 C3 및 C4 전극 부위에서 명확한 활성화 패턴을 보여주는 해석 가능한 토포그라픽 지도를 생성했다.
• 공간 필터 레이어에 4개의 성분을 사용한 모델이 최적의 성능을 보였으며, 이는 복잡성과 일반화 사이의 균형을 잘 이룬 것으로 나타났다.
• 동적 그래프 컨볼루션 네트워크의 경우 높은 파rameter 수와 노이즈가 많은 EEG 데이터로 인해 빠르게 과적합되어 낮은 성능을 보였다.