[논문 리뷰] MutualGraphNet: A novel model for motor imagery classification

Yan Li, Na Zhong외 2명|arXiv (Cornell University)|2021. 09. 02.

EEG and Brain-Computer Interfaces참고 문헌 29인용 수 7

한 줄 요약

이 논문은 뇌 기반 운동 상상 분류 성능을 향상시키기 위해 공간-시간 그래프 컨볼루션 네트워크(ST-GCN)의 인접 행렬로 뇌전도 채널 간 상호정보량을 사용하는 새로운 그래프 신경망인 MutualGraphNet을 제안한다. 상호정보량을 활용해 뇌 기능적 연결성을 모델링함으로써, 이는 해부학적 가정에 의존하지 않고도 강력하고 해석 가능한 특징 학습을 가능하게 하며, EEG 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Motor imagery classification is of great significance to humans with mobility impairments, and how to extract and utilize the effective features from motor imagery electroencephalogram(EEG) channels has always been the focus of attention. There are many different methods for the motor imagery classification, but the limited understanding on human brain requires more effective methods for extracting the features of EEG data. Graph neural networks(GNNs) have demonstrated its effectiveness in classifying graph structures; and the use of GNN provides new possibilities for brain structure connection feature extraction. In this paper we propose a novel graph neural network based on the mutual information of the raw EEG channels called MutualGraphNet. We use the mutual information as the adjacency matrix combined with the spatial temporal graph convolution network(ST-GCN) could extract the transition rules of the motor imagery electroencephalogram(EEG) channels data more effectively. Experiments are conducted on motor imagery EEG data set and we compare our model with the current state-of-the-art approaches and the results suggest that MutualGraphNet is robust enough to learn the interpretable features and outperforms the current state-of-the-art methods.

연구 동기 및 목표

• 운동 상상 EEG 데이터에서 공간-시간 관계를 효과적으로 모델링하여 분류 정확도를 향상시키는 데 도전한다.
• 기존의 정의된 또는 히우리스틱 기반의 뇌 기능적 연결성 그래프의 한계를 극복한다. 이러한 방법들은 종종 뇌의 구조에 대한 불완전하거나 정확하지 않은 가정에 의존한다.
• 원시 EEG 데이터로부터 상호정보량을 데이터 기반 기능적 연결성 측정치로 사용하여 의미 있는 채널 관계를 자동으로 학습하는 종단간 딥 러닝 프레임워크를 개발한다.
• 상호정보량을 인접 행렬로 사용한 그래프 컨볼루션 네트워크의 효과성을 EEG 기반 BCI 응용 분야에서 평가한다.

제안 방법

• 모델은 EEG 신호의 시간적 동적 특성과 공간적 종속성을 모두 캡처하기 위해 공간-시간 그래프 컨볼루션 네트워크(ST-GCN)를 활용한다.
• 원시 EEG 채널 간 상호정보량(MI)을 계산하여 그래프 연결성을 정의하는 인접 행렬로 사용함으로써 수작업으로 정의된 또는 해부학적 사전 지식을 대체한다.
• ST-GCN 레이어는 MI 기반 인접 행렬에 따라 이웃 채널의 특징을 집계함으로써, 동적이고 데이터 기반의 기능적 연결성 패턴을 학습할 수 있도록 한다.
• 차분 엔트로피(DE)는 EEG 데이터의 입력 특징 표현으로 사용되며, 이후 MutualGraphNet 아키텍처를 통해 처리된다.
• 모델은 4겹 교차검증을 사용하여 종단간으로 훈련되며, EEG 운동 상상 데이터셋에서 최적의 성능을 내기 위해 하이퍼파ram터가 최적화된다.
• 다양한 인접 행렬(최근접 이웃(KNN), 유클리드 거리, 무작위, MI 기반 변형)을 평가하여 상호정보량의 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 EEG 채널 간 상호정보량이 운동 상상 분류를 위한 그래프 신경망에서 정의된 인접 행렬의 효과적이고 강력한 대체 수단이 될 수 있는가?
• RQ2 기존 방법들(예: KNN, 유클리드 거리)과 비교했을 때, MI 기반 그래프 연결성은 분류 정확도와 특징의 해석 가능성 측면에서 어떻게 성능을 내는가?
• RQ3 제안된 MutualGraphNet 모델이 기존 최신 기술 수준의 방법보다 EEG 기반 운동 상상 분류 작업에서 뛰어난 성능을 내는가?
• RQ4 다양한 EEG 특징 표현(예: 스펙트럼 밀도(PSD), DE, DCAU)는 그래프 기반 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• MutualGraphNet는 차분 엔트로피(DE) 특징을 사용하여 최고의 분류 정확도 51.90%를 달성했으며, 다른 특징 유형보다 뚜렷하게 뛰어난 성능을 보였다.
• MI 기반 인접 행렬은 모든 테스트된 그래프 구축 방법 중에서 가장 높은 성능을 기록했으며, 표준 KNN 대비 5.5% 향상되고 무작위 연결 대비 7.2% 향상되었다.
• MI 기반 인접 행렬을 사용한 모델은 F1 점수 0.5175와 정밀도 0.5208를 기록하여 다양한 지표에서 안정적이고 일관된 성능을 보였다.
• 다른 특징 중 DCAU(전두-후두 차분 엔트로피)는 41.62%의 정확도를 기록했으며, PSD와 DSAM 특징은 성능이 열악하여 비대칭성과 관련된 특징이 분류에 유의미한 정보를 제공하는 것으로 나타났다.
• 제거 분석 결과, MI 기반 연결성(Mul_KNN 및 Mul_ED)이 비-MI 기반 대비 뛰어난 성능을 보였으며, 이는 상호정보량이 그래프 학습을 향상시킨다는 것을 입증했다.
• 모델의 성능은 다양한 ST-GCN 레이어 구성에서도 안정적이었으며, 4개 레이어에서 최적의 성능을 기록하여 확장성과 아키텍처의 강건성을 보였다.