[논문 리뷰] A Novel Bi-hemispheric Discrepancy Model for EEG Emotion Recognition

Yang Li, Wenming Zheng외 6명|arXiv (Cornell University)|2019. 05. 11.

EEG and Brain-Computer Interfaces참고 문헌 38인용 수 17

한 줄 요약

이 논문은 뇌의 좌우 반구 간 비대칭 신경 활동을 활용하여 EEG 정서 인식을 위한 새로운 双반구 불일치 모델(BiHDM)을 제안한다. 이중 방향 RNN을 사용해 공간-시간적 EEG 패턴을 모델링하고, 쌍방향 하위망을 통해 반구 간 불일치를 추출함으로써, 세 가지 공개 EEG 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 피험자 의존 설정에서는 최대 93.12%의 정확도, 피험자 독립 설정에서는 74.35%의 정확도를 기록하였다.

ABSTRACT

The neuroscience study has revealed the discrepancy of emotion expression between left and right hemispheres of human brain. Inspired by this study, in this paper, we propose a novel bi-hemispheric discrepancy model (BiHDM) to learn the asymmetric differences between two hemispheres for electroencephalograph (EEG) emotion recognition. Concretely, we first employ four directed recurrent neural networks (RNNs) based on two spatial orientations to traverse electrode signals on two separate brain regions, which enables the model to obtain the deep representations of all the EEG electrodes' signals while keeping the intrinsic spatial dependence. Then we design a pairwise subnetwork to capture the discrepancy information between two hemispheres and extract higher-level features for final classification. Besides, in order to reduce the domain shift between training and testing data, we use a domain discriminator that adversarially induces the overall feature learning module to generate emotion-related but domain-invariant feature, which can further promote EEG emotion recognition. We conduct experiments on three public EEG emotional datasets, and the experiments show that the new state-of-the-art results can be achieved.

연구 동기 및 목표

• 정서 처리에서 반구 비대칭성에 대한 알려진 신경과학적 발견을 활용하여 EEG 신호로부터 분류 가능한 특징을 추출하는 데 도전하는 것.
• 분류 성능 향상을 위해 좌우 뇌 반구 간 비대칭 차이를 명시적으로 모델링하고 학습하는 딥 러닝 프레임워크를 개발하는 것.
• 도메인 구분자 도입을 통해 학습 데이터와 테스트 데이터 간의 도메인 이동을 줄여 정서 불변성은 유지하면서도 정서 구분 가능한 특징을 학습하는 것.
• 좌우 반구 간 불일치의 효과성을 검증하기 위해 좌반구 또는 우반구 데이터만을 사용한 경우와 전체 반구 간 모델링을 통한 성능를 비교하는 것.

제안 방법

• 좌우 반구의 EEG 전극들 사이의 공간-시간적 의존성을 유지하면서도 고유한 공간적 구조를 반영하기 위해, 수평 및 수직 방향의 네 개의 유도된 RNN을 사용한다.
• 좌우 반구 표현 간 불일치에서 고차원 특징을 캡처하고 추출하기 위해 쌍방향 하위망을 설계한다.
• 특징 학습 모듈에 도메인 구분자를 통합하여, 모델이 도메인 불변성과 정서 관련 특징을 동시에 학습하도록 적대적으로 유도함으로써 도메인 이동을 감소시킨다.
• 피험자 의존 및 피험자 독립 평가 프로토콜을 사용하여, 세 가지 공개 EEG 정서 데이터셋(SEED, SEED-IV, MPED)에서 모델을 종합적으로 훈련한다.
• 방향성의 영향을 평가하기 위해 수평 방향 전용, 수직 방향 전용, 그리고 병합된 RNN 탐색 방식을 비교함으로써 공간적 특징 추출을 최적화한다.

실험 결과

연구 질문

• RQ1 EEG 신호에서 이중 반구 불일치를 명시적으로 모델링하면 정서 인식 성능 향상에 기여하는가?
• RQ2 전두엽 또는 편측뇌에서 어느 영역이 EEG 기반 정서 인식에 더 뛰어난 성능을 보이는가?
• RQ3 EEG 신호 기반으로 좌반구가 우반구보다 정서 인식에 더 유용한가?
• RQ4 이중 방향 RNN(수평 및 수직)이 EEG 전극 간 공간적 의존성을 얼마나 효과적으로 캡처하는가?
• RQ5 적대적 도메인 적응은 다양한 데이터 도메인 간 모델 일반화에 얼마나 효과적인가?

주요 결과

• 제안된 BiHDM은 피험자 의존 평가에서 SEED 데이터셋에서 최대 93.12%의 정확도, 피험자 독립 평가에서 SEED-IV 데이터셋에서 74.35%의 정확도를 기록하여 최신 기술 수준의 성능를 달성하였다.
• 편측뇌 전극이 항상 전두엽 전극보다 뛰어나며, SEED 데이터셋에서 단지 9개의 편측뇌 전극만을 사용할 경우 피험자 의존 설정에서 90.16%의 정확도를 기록하였다.
• 좌반구 데이터만을 사용할 경우 SEED에서 86.63%의 정확도를 기록하여 우반구(86.39%)보다 높은 성능를 보였으며, 이는 테스트된 데이터셋에서 좌반구가 정서 처리와 더 강하게 연관되어 있음을 시사한다.
• 수평 및 수직 RNN을 모두 사용할 경우 단일 방향 사용(수평: 87.47%, 수직: 86.75%)보다 유의미하게 높은 성능(93.12%)을 기록하여 다중 방향 공간 모델링의 중요성을 확인하였다.
• 도메인 구분자가 효과적으로 도메인 이동을 감소시켜, 피험자 독립 실험에서 일반화 성능 향상을 입증하였으며, SEED에서는 85.40%의 정확도, SEED-IV에서는 69.03%의 정확도를 기록하였다.