[논문 리뷰] Progressive Graph Convolution Network for EEG Emotion Recognition

Yijin Zhou, Fu Li외 7명|arXiv (Cornell University)|2021. 12. 14.

EEG and Brain-Computer Interfaces인용 수 5

한 줄 요약

이 논문은 계층적인 감정의 성격을 활용하여 군집에서 세분화된 카테고리로 점진적으로 학습하는 프로그레시브 그래프 컨볼루션 네트워크(PGCN)를 제안한다. EEG 채널 간의 동적 기능적 연결과 정적 공간적 근접성을 캡처하는 이중 그래프와 계층적 특징 학습을 위한 이중 헤드 모듈을 통합하여, SEED-IV 및 MPED 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며 고주파 대역과 전두엽/측두엽의 감정 처리에서의 역할을 부각시킨다.

ABSTRACT

Studies in the area of neuroscience have revealed the relationship between emotional patterns and brain functional regions, demonstrating that dynamic relationships between different brain regions are an essential factor affecting emotion recognition determined through electroencephalography (EEG). Moreover, in EEG emotion recognition, we can observe that clearer boundaries exist between coarse-grained emotions than those between fine-grained emotions, based on the same EEG data; this indicates the concurrence of large coarse- and small fine-grained emotion variations. Thus, the progressive classification process from coarse- to fine-grained categories may be helpful for EEG emotion recognition. Consequently, in this study, we propose a progressive graph convolution network (PGCN) for capturing this inherent characteristic in EEG emotional signals and progressively learning the discriminative EEG features. To fit different EEG patterns, we constructed a dual-graph module to characterize the intrinsic relationship between different EEG channels, containing the dynamic functional connections and static spatial proximity information of brain regions from neuroscience research. Moreover, motivated by the observation of the relationship between coarse- and fine-grained emotions, we adopt a dual-head module that enables the PGCN to progressively learn more discriminative EEG features, from coarse-grained (easy) to fine-grained categories (difficult), referring to the hierarchical characteristic of emotion. To verify the performance of our model, extensive experiments were conducted on two public datasets: SEED-IV and multi-modal physiological emotion database (MPED).

연구 동기 및 목표

• 기존 EEG 감정 인식 모델에서 감정 특화의 유도적 편향( inducive bias )이 부족한 문제를 해결하기 위해 감정의 계층적 구조를 활용한다.
• 신경과학에 기반한 이중 그래프 모듈을 사용하여 EEG 채널 간의 동적 기능적 연결성과 정적 공간적 근접성을 모델링한다.
• 군집에서 세분화된 감정 카테고리로 점진적으로 분류함으로써 분류 기반 특징 학습을 향상시킨다.
• 해석 가능한 딥 러닝 프레임워크를 사용하여 EEG 주파수 대역과 감정 상태 간의 관계를 조사한다.
• 주의 시각화와 기능적 그래프 분석을 통해 감정 표현과 가장 관련이 깊은 뇌 영역을 규명한다.

제안 방법

• PGCN은 동적 기능적 그래프(EEG 신호에서 학습됨)와 정적 공간적 근접성 그래프(전극 위치 기반)를 조합한 이중 그래프 모듈을 사용하여 뇌 연결성을 모델링한다.
• 이중 헤드 분류 헤드는 점진적인 특징 학습을 위해 설계되었으며, 첫 번째 헤드는 군집된 감정(예: 긍정/부정)을 분류하고, 두 번째 헤드는 세분화된 카테고리(예: 공포, 분노, 혐오)로 보완한다.
• 모델은 그래프 컨볼루션 네트워크(GCNs)를 사용하여 EEG 신호에서 공간-시간적 특징을 추출하며, 관련 뇌 영역을 강조하기 위해 주의 메커니즘을 활용한다.
• T-SNE 시각화를 적용하여 학습 중 특징 공간의 진화를 분석하고, 모델 최적화 후 클래스 간 분離도 향상 여부를 확인한다.
• 기능적 연결성 기여도는 동적 그래프 $\mathbf{G_f^d}$ 를 사용하여 산모의 표면에 매핑하여 핵심 전극 및 주파수 대역을 식별한다.
• 실험은 주로 SEED-IV 및 MPED 두 가지 공개 데이터셋을 대상으로 하며, 피험자에 따라 의존적 및 비의존적 설정에서 수행되어 모델의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 군집에서 세분화된 감정 카테고리로 점진적으로 학습하는 전략이 EEG 기반 감정 인식 성능 향상에 기여하는가?
• RQ2 EEG 채널 간의 동적 기능적 연결성과 정적 공간적 근접성은 감정 표현에 어떻게 기여하는가?
• RQ3 다음 주파수 대역(δ, θ, α, β, γ) 중 어떤 것이 감정 상태를 가장 잘 예측하는가? 그리고 이는 피험자 간에 어떻게 다를 수 있는가?
• RQ4 전두엽, 측두엽, parieta l엽과 같은 뇌 영역 중 감정 인식에 가장 높은 기능적 연결성 기여도를 보이는 영역은 어디인가?
• RQ5 기본 모델 대비 PGCN 모델이 특징의 분류 가능성을 얼마나 향상시키는가?

주요 결과

• PGCN은 SEED-IV 및 MPED 데이터셋에서 최신 기술 수준의 성능를 달성하며, 점진적인 계층적 학습을 통해 뛰어난 분류 정확도를 보였다.
• 고주파 대역(β 및 γ)의 인식 정확도는 저주파 대역보다 유의미하게 높았으며, 이는 감정 상태와의 강한 상관관계를 확인한다.
• SEED-IV의 피험자 간 독립 실험에서 δ 대역이 가장 높은 인식률을 기록하여, 이는 이질적인 피험자 간 공통성을 포착하는 데 중요한 역할을 함을 시사한다.
• T-SNE 시각화 결과, 학습 후 동일한 감정에 속하는 EEG 특징들이 더 격차 없이 뭉쳐져 있어, 특징의 분류 가능성이 향상되었음을 확인하였다.
• 전두엽과 측두엽이 감정 인식에 가장 높은 기여도를 보였으며, 이는 감정 관련 뇌 영역에 대한 신경과학적 발견과 일치한다.
• 동적 그래프 시각화 결과, 기능적 연결성 패턴은 주파수 대역에 따라 상당히 다름을 보였으며, 고주파 대역에서는 더 명확하고 국소화된 활성화 패tern을 보였다.