[논문 리뷰] EEG-Based Emotion Recognition Using Regularized Graph Neural Networks

Peixiang Zhong, Di Wang외 1명|arXiv (Cornell University)|2019. 07. 18.

EEG and Brain-Computer Interfaces참고 문헌 79인용 수 47

한 줄 요약

이 논문은 생물학적 뇌 위상과 두 가지 정규화 항을 활용하는 EEG 기반 감정 인식용 정규화 그래프 신경망(RGNN)을 제안하여 교차 피험자 변이 및 라벨 노이즈를 처리하고 SEED 및 SEED-IV 데이터세트에서 우수한 성능을 달성합니다.

ABSTRACT

Electroencephalography (EEG) measures the neuronal activities in different brain regions via electrodes. Many existing studies on EEG-based emotion recognition do not fully exploit the topology of EEG channels. In this paper, we propose a regularized graph neural network (RGNN) for EEG-based emotion recognition. RGNN considers the biological topology among different brain regions to capture both local and global relations among different EEG channels. Specifically, we model the inter-channel relations in EEG signals via an adjacency matrix in a graph neural network where the connection and sparseness of the adjacency matrix are inspired by neuroscience theories of human brain organization. In addition, we propose two regularizers, namely node-wise domain adversarial training (NodeDAT) and emotion-aware distribution learning (EmotionDL), to better handle cross-subject EEG variations and noisy labels, respectively. Extensive experiments on two public datasets, SEED and SEED-IV, demonstrate the superior performance of our model than state-of-the-art models in most experimental settings. Moreover, ablation studies show that the proposed adjacency matrix and two regularizers contribute consistent and significant gain to the performance of our RGNN model. Finally, investigations on the neuronal activities reveal important brain regions and inter-channel relations for EEG-based emotion recognition.

연구 동기 및 목표

• EEG 신호로부터의 감정 인식을 고무하고, 전통적인 토폴로지에 무관한 방법의 한계점을 해결한다.
• 뇌 채널 간 토폴로지를 그래프 신경망에서 모델링하기 위해 생물학적으로 영감을 받은 희소 인접 행렬을 도입한다.
• 교차 피험자 일반화 및 노이즈 라벨에 대한 강인성을 향상시키기 위해 NodeDAT와 EmotionDL의 두 가지 정규화를 개발한다.
• SEED와 SEED-IV 데이터세트에서 광범위한 실험을 통해 RGNN의 효과를 입증하고 정보가 많은 뇌 영역을 분석한다.
• EEG 기반 감정 인식과 관련된 채널 간 관계 및 뇌 영역에 대한 통찰을 제공한다.

제안 방법

• EEG 채널을 학습 가능한 대칭 인접 행렬을 가진 그래프의 노드로 모델링하여 국소적 및 전역 뇌 연결을 포착한다.
• Simple Graph Convolution (SGC)을 RGNN으로 확장하여 토폴로지 구조를 활용하고 노드 의존적 표현을 얻는다.
• 교차 피험자 강인성을 위한 채널별 특징 표현을 정규화하고 노드 단위 도메인 적대적 학습을 수행하기 위해 NodeDAT를 도입한다.
• 노이즈 라벨을 처리하기 위해 샘플마다 감정 라벨의 분포를 학습하도록 EmotionDL을 도입하고, KL 발산을 사용한다.
• KL 기반 분포 학습, 인접 행렬의 희소성, 그리고 도메인 적대 정규화를 결합한 손실 함수를 사용하여 엔드투엔드로 최적화한다.
• 거리 기반 로컬 연결과 특정 글로벌 채널 쌍으로 인접 행렬을 초기화하여 신경 비대칭성 및 기능적 연결을 반영한다.

실험 결과

연구 질문

• RQ1 EEG 채널 토폴로지를 존중하는 그래프 신경망이 토폴로지에 무관한 모델보다 감정 인식 정확도를 향상시킬 수 있는가?
• RQ2 생물학적으로 영감을 받은 인접 행렬이 EEG 기반 감정 인식에서 채널 간 관계 학습을 향상시키는가?
• RQ3 NodeDAT와 EmotionDL 정규화가 각각 교차 피험자 일반화와 노이즈 라벨에 대한 강인성을 향상시키는가?
• RQ4 EEG 기반 감정 분류에 가장 정보량이 많은 신경 영역 및 채널 간 관계는 무엇인가?
• RQ5 표준 EEG 감정 데이터세트 SEED 및 SEED-IV에서 RGNN은 피험자 의존 및 피험자 독립 설정 모두에서 어떻게 성능을 내는가?

주요 결과

• 제안된 인접성 및 정규화 항을 갖춘 RGNN은 대부분의 실험 설정에서 최첨단 모델에 비해 우수한 성능을 달성한다.
• 망소 실험은 인접 행렬 설계와 두 정규화 항이 성능 향상에 일관되게 그리고 유의하게 기여함을 보여준다.
• NodeDAT는 노드 수준에서 더 세분화된 도메인 적응을 제공하여 교차 피험자 일반화를 향상시킨다.
• EmotionDL은 단일 경성 라벨이 아닌 감정 클래스의 분포를 학습함으로써 노이즈 라벨에 대한 강인성을 향상시킨다.
• 분석에 따르면 전전두엽, 두정엽, 후두엽 영역은 물론 좌우 전뇌 전체 연결이 감정 인식에 정보를 제공한다.