[논문 리뷰] LGGNet: Learning from Local-Global-Graph Representations for Brain-Computer Interface

Yi Ding, Neethu Robinson외 3명|arXiv (Cornell University)|2021. 05. 05.

EEG and Brain-Computer Interfaces참고 문헌 47인용 수 9

한 줄 요약

LGGNet은 뇌-컴퓨터 인터페이스 성능 향상을 위해 국소-전역-그래프 표현을 사용하여 뇌전도 신호를 모델링하는 신경학적으로 영감을 얻은 그래프 신경망이다. 다중 척도 시간 컨볼루션과 주의력 융합 커널 수준 특징, 작업별로 학습하는 국소 및 전역 그래프 구조를 통합함으로써, 주의, 피로, 정서, 선호도와 같은 네 가지 인지 분류 과제에서 최신 기술보다 통계적으로 유의미한 향상을 달성한다.

ABSTRACT

Neuropsychological studies suggest that co-operative activities among different brain functional areas drive high-level cognitive processes. To learn the brain activities within and among different functional areas of the brain, we propose LGGNet, a novel neurologically inspired graph neural network, to learn local-global-graph representations of electroencephalography (EEG) for Brain-Computer Interface (BCI). The input layer of LGGNet comprises a series of temporal convolutions with multi-scale 1D convolutional kernels and kernel-level attentive fusion. It captures temporal dynamics of EEG which then serves as input to the proposed local and global graph-filtering layers. Using a defined neurophysiologically meaningful set of local and global graphs, LGGNet models the complex relations within and among functional areas of the brain. Under the robust nested cross-validation settings, the proposed method is evaluated on three publicly available datasets for four types of cognitive classification tasks, namely, the attention, fatigue, emotion, and preference classification tasks. LGGNet is compared with state-of-the-art methods, such as DeepConvNet, EEGNet, R2G-STNN, TSception, RGNN, AMCNN-DGCN, HRNN and GraphNet. The results show that LGGNet outperforms these methods, and the improvements are statistically significant (p<0.05) in most cases. The results show that bringing neuroscience prior knowledge into neural network design yields an improvement of classification performance. The source code can be found at https://github.com/yi-ding-cs/LGG

연구 동기 및 목표

• 기존의 EEG 기반 BCI 모델이 국소 기능적 뇌 영역 역학과 전역 상호작용을 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• 인지 상태 분류에서 해석 가능성과 성능 향상을 위해 심리신경학 지식을 딥 러닝 아키텍처 설계에 통합하기 위해.
• 기능적 뇌 영역을 기반으로 하위계층적 국소-전역 그래프 구조로 EEG를 모델링하는 그래프 신경망을 개발하기 위해.
• 신경생리학적으로 의미 있는 뇌 네트워크 역학을 반영하는 작업별로 학습하는 그래프 연결 및 노드 표현을 학습하기 위해.
• 일관된 일반화와 통계적 유의성을 확보하기 위해 중첩 교차검증을 사용하여 다수의 벤치마크 데이터셋에서 모델을 철저히 평가하기 위해.

제안 방법

• LGGNet은 원시 EEG 신호에서 시간 역학을 추출하기 위해 다중 척도 1차원 컨볼루션 커널을 사용하고, 이후에 유의미한 주파수 대역을 강조하기 위해 커널 수준의 주의력 융합을 수행한다.
• 모델은 국소-전역 그래프 표현을 구성하며, 국소 그래프는 10-20 EEG 시스템에 기반한 신경해부학적으로 정의된 기능적 뇌 영역(예: 전두엽, 편측, 후두엽)에 대응한다.
• 국소 그래프 필터링 레이어는 각 기능적 영역 내에서 노드 특징을 통합하여 단일 히든 임베딩으로 표현하며, 이는 지역적 뇌 활동을 나타낸다.
• 전역 그래프 필터링 레이어는 인스턴스별 유사도 행렬을 기본 인접 행렬로 사용하고, 학습 중에 중요한 영역 간 연결을 동적으로 선택하기 위해 가중치가 학습되는 주의 마스크를 적용한다.
• 그래프 연결은 백프로파게이션을 통해 엔드 투 엔드로 학습되며, 이로써 모델은 작업에 관련된 기능적 뇌 네트워크를 적응적으로 강조할 수 있다.
• 일반, 전두엽 기반, 반구 기반의 세 가지 별도의 그래프 정의를 탐색하여 작업별로 특화된 신경망 구조를 포착한다.

실험 결과

연구 질문

• RQ1 신경생리학적으로 의미 있는 국소 및 전역 뇌 그래프 구조를 GNN에 통합하면 EEG 기반 인지 상태 분류 성능이 향상되는가?
• RQ2 딥 러닝 모델의 학습된 그래프 연결에서 작업별 뇌 네트워크 패턴(예: 주의, 피로, 정서, 선호도)은 어떻게 나타나는가?
• RQ3 주목적 융합을 통한 다중 척도 시간 컨볼루션은 표준 CNN에 비해 EEG 신호의 표현 학습을 향상시키는가?
• RQ4 전역 그래프 레이어의 학습 가능한 인접 행렬이 동적 기능적 연결성을 포착함으로써 성능 향상에 어느 정도 기여하는가?
• RQ5 모델의 내부 그래프 구조는 알려진 신경인지 과정과 기능적 뇌 네트워크 조직을 반영할 수 있는가?

주요 결과

• LGGNet은 주의, 피로, 정서, 선호도와 같은 네 가지 인지 분류 과제에서 최신 기술인 DeepConvNet, EEGNet, R2G-STNN, TSception, RGNN, AMCNN-DGCN, HRNN, GraphNet을 모두 상회한다.
• 대부분의 실험에서 통계적으로 유의미한 향상(p < 0.05)을 보이며, 모델 설계에 신경과학 사전 지식을 통합한 효과를 입증한다.
• 학습된 인접 행렬과 주의 마스크는 작업별로 특화된 뇌 네트워크 패턴을 드러낸다: 피로 과제에서는 전두엽-후두엽 및 전두엽-운동 영역 간 연결 강화, 정서 과제에서는 광범위한 전두엽-소엽-후두엽 연결 강화, 선호도 과제에서는 소엽 기여도가 두드러짐.
• 모델은 신경해부학적으로 관련된 영역에 더 높은 주의 가중치를 할당한다: 주의 과제에서는 전두엽 및 편측 영역, 정서 과제에서는 소엽 및 전두엽 영역, 선호도 과제에서는 소엽 영역으로, 알려진 기능적 역할과 일치한다.
• 시각화 결과는 모델이 의미 있는, 작업에 따라 달라지는 기능적 연결 패턴을 학습하고 있음을 확인한다. 예를 들어 피로 과제에서는 Fp-r와 O 사이, 정서 과제에서는 AF–O 및 CP–O 사이의 연결 강화가 관찰된다.
• 자기순환 주의 가중치는 해당 인지 과정에 관여하는 것으로 알려진 영역에서 가장 높게 나타난다(예: 주의 과정에서는 전두엽 및 편측, 정서 과정에서는 소엽), 이는 모델이 신경생리학적 지식과 잘 일치함을 시사한다.