[논문 리뷰] PGCN: Pyramidal Graph Convolutional Network for EEG Emotion Recognition

Ming Jin, Enwei Zhu외 3명|arXiv (Cornell University)|2023. 02. 06.

EEG and Brain-Computer Interfaces참고 문헌 52인용 수 4

한 줄 요약

이 논문은 삼중 수준 아키텍처를 통해 국소, 중간 크기, 전반적인 전극 관계를 모델링함으로써 EEG 기반 정서 인식을 향상시키는 피라미드형 그래프 컨볼루션 네트워크(PGCN)를 제안한다. 공간적 구조, 지식 유도형 뇌 영역, 위치 인식 전역 연결성을 통합함으로써 PGCN는 깊은 GCN에서의 과도한 스무딩을 완화하면서도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Emotion recognition is essential in the diagnosis and rehabilitation of various mental diseases. In the last decade, electroencephalogram (EEG)-based emotion recognition has been intensively investigated due to its prominative accuracy and reliability, and graph convolutional network (GCN) has become a mainstream model to decode emotions from EEG signals. However, the electrode relationship, especially long-range electrode dependencies across the scalp, may be underutilized by GCNs, although such relationships have been proven to be important in emotion recognition. The small receptive field makes shallow GCNs only aggregate local nodes. On the other hand, stacking too many layers leads to over-smoothing. To solve these problems, we propose the pyramidal graph convolutional network (PGCN), which aggregates features at three levels: local, mesoscopic, and global. First, we construct a vanilla GCN based on the 3D topological relationships of electrodes, which is used to integrate two-order local features; Second, we construct several mesoscopic brain regions based on priori knowledge and employ mesoscopic attention to sequentially calculate the virtual mesoscopic centers to focus on the functional connections of mesoscopic brain regions; Finally, we fuse the node features and their 3D positions to construct a numerical relationship adjacency matrix to integrate structural and functional connections from the global perspective. Experimental results on three public datasets indicate that PGCN enhances the relationship modelling across the scalp and achieves state-of-the-art performance in both subject-dependent and subject-independent scenarios. Meanwhile, PGCN makes an effective trade-off between enhancing network depth and receptive fields while suppressing the ensuing over-smoothing. Our codes are publicly accessible at https://github.com/Jinminbox/PGCN.

연구 동기 및 목표

• EEG 기반 정서 인식에서 얕은 GCN이 장거리 전극 의존성을 포착하는 데에 한계가 있음을 해결한다.
• 깊은 GCN에서의 과도한 스무딩 문제를 해결하면서 기능적 및 구조적 뇌 연결성을 더 잘 모델링하기 위해 수용역을 확장한다.
• 기존 신경해부학 지식을 GCN 아키텍처에 통합하여 중간 크기의 뇌 영역 표현을 향상시킨다.
• 국소, 중간 크기, 전역 스케일 간의 특징 집약을 균형 있게 조절하여 주관 의존 및 주관 독립 기준 모두에서 정서 인식 성능을 향상시킨다.
• 다중 수준 그래프 학습을 활용한 확장 가능하고 공개 가능한 EEG 정서 인식 프레임워크를 개발한다.

제안 방법

• EEG 전극 간의 3차원 기하적 관계를 기반으로 한 순수한 GCN을 구축하여 이차적 국소 특징을 추출한다.
• 기존 해부학 지식(예: 전두엽, 측두엽, 후두엽)을 사용하여 중간 크기의 뇌 영역을 정의하고, 메조스코픽 주의를 적용하여 기능적 연결성을 강조하는 가상 중심을 계산한다.
• 노드 특징와 3차원 공간 좌표를 융합하여 위치 인식 숫자 인접 행렬을 생성함으로써 전역 수준에서 구조적 및 기능적 연결성을 인코딩한다.
• 국소, 메조스코픽, 전역 수준의 특징을 계층적 융합 전략을 통해 통합하여 다양한 척도에서 표현을 풍부하게 한다.
• 전역 모듈에서 학습 가능한 인접 행렬을 사용하여 희박한 장거리 의존성을 포착하면서 과도한 스무딩을 최소화한다.
• 교차 엔트로피 손실과 확률적 경사 하강법를 사용하여 끝에서 끝까지 PGCN 모델을 훈련하고 EEG 데이터에서 정서 분류를 최적화한다.

실험 결과

연구 질문

• RQ1 다중 척도 그래프 컨볼루션 아키텍처는 EEG 기반 정서 인식에서 국소, 중간 크기, 전역 뇌 연결성을 효과적으로 모델링할 수 있는가?
• RQ2 기존 신경해부학 지식을 GCN 아키텍처에 통합하면 EEG 정서 인식 작업 성능에 어떤 영향을 미치는가?
• RQ3 피라미드형 GCN 설계는 과도한 스무딩을 유도하지 않으면서 수용역을 얼마나 넓힐 수 있는가?
• RQ4 제안된 방법은 주관 의존 및 주관 독립 정서 인식 설정 모두에서 기존 GCN 기반 모델보다 뛰어난 성능을 달성하는가?
• RQ5 학습된 주의 가중치와 인접 행렬은 정서 처리와 관련된 알려진 기능적 뇌 네트워크를 어떻게 반영하는가?

주요 결과

• PGCN은 SEED, SEED-IV, DEAP의 세 가지 공개 EEG 정서 인식 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• 주관 의존 및 주관 독립 설정 모두에서 분류 정확도가 크게 향상되어 기존 GCN 기반 방법을 능가한다.
• 학습된 인접 행렬의 시각화 결과, 전두엽, 측두엽, 후두엽의 전극들이 일관되게 높은 자기 가중치를 가지며 핵심 연결을 형성함으로써 알려진 정서 관련 뇌 영역과 일치한다.
• 학습된 인접 행렬에서 상위 10개 연결은 주로 전두엽, 측두엽, 후두엽에 위치해 있어 정서 처리에서의 기능적 중요성을 시사한다.
• 성능 곡선은 깊이가 증가함에 따라 정확도가 증가하다가 어느 지점 이후 과도한 스무딩이 지배적으로 되는 것으로 나타나, PGCN의 설계가 이 분해를 지연시키는 데 효과적임을 확인한다.
• 제안된 방법은 확장된 수용역과 과도한 스무딩 사이의 균형을 효과적으로 유지하며, 깊은 아키텍처에서도 안정적인 성능을 보여준다.