[논문 리뷰] A Lightweight Domain Adversarial Neural Network Based on Knowledge Distillation for EEG-based Cross-subject Emotion Recognition

Zhe Wang, Yongxiong Wang외 3명|arXiv (Cornell University)|2023. 05. 12.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 지식 정복을 통해 강화된 경량 도메인 적대 신경망을 제안하여 EEG 기반의 교차 주체 감정 인식을 수행한다. 트랜스포머 기반의 교사 모델이 Bi-LSTM 학생 모델을 안내하여 도메인 불변 특징을 학습하게 하여, 주체 독립 평가에서 DEAP 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Individual differences of Electroencephalogram (EEG) could cause the domain shift which would significantly degrade the performance of cross-subject strategy. The domain adversarial neural networks (DANN), where the classification loss and domain loss jointly update the parameters of feature extractor, are adopted to deal with the domain shift. However, limited EEG data quantity and strong individual difference are challenges for the DANN with cumbersome feature extractor. In this work, we propose knowledge distillation (KD) based lightweight DANN to enhance cross-subject EEG-based emotion recognition. Specifically, the teacher model with strong context learning ability is utilized to learn complex temporal dynamics and spatial correlations of EEG, and robust lightweight student model is guided by the teacher model to learn more difficult domain-invariant features. In the feature-based KD framework, a transformer-based hierarchical temporalspatial learning model is served as the teacher model. The student model, which is composed of Bi-LSTM units, is a lightweight version of the teacher model. Hence, the student model could be supervised to mimic the robust feature representations of teacher model by leveraging complementary latent temporal features and spatial features. In the DANN-based cross-subject emotion recognition, we combine the obtained student model and a lightweight temporal-spatial feature interaction module as the feature extractor. And the feature aggregation is fed to the emotion classifier and domain classifier for domain-invariant feature learning. To verify the effectiveness of the proposed method, we conduct the subject-independent experiments on the public dataset DEAP with arousal and valence classification. The outstanding performance and t-SNE visualization of latent features verify the advantage and effectiveness of the proposed method.

연구 동기 및 목표

• 개인적 차이와 제한된 데이터로 인한 EEG 기반 감정 인식에서의 도메인 이동 문제를 해결한다.
• 저데이터 환경에서 도메인 적대 신경망의 무거운 특징 추출기의 한계를 극복한다.
• 지식 정복을 활용하여 경량이면서도 강력한 모델을 개발하여 교차 주체 EEG 감정 인식을 수행한다.
• 강력한 교사 모델에서 복잡한 시공간 표현을 전이함으로써 효과적인 도메인 불변 특징 학습을 가능하게 한다.
• 시간-공간 역학을 기반으로 훈련된 정련된 효율적인 학생 모델을 통해 주체 간 일반화 능력을 향상시킨다.

제안 방법

• 복잡한 EEG 역학과 공간 상관관계를 포착하기 위해 트랜스포머 기반의 계층적 시공간 모델을 교사로 사용한다.
• 지식 정복을 통해 교사의 잠재 표현을 모방하도록 경량 Bi-LSTM 기반의 학생 모델을 설계한다.
• 학생 모델이 교사의 시간적 및 공간적 특징을 모두 학습할 수 있도록 기능 기반 정복 프레임워크를 구현한다.
• 정련된 학생 모델을 경량 시공간 특징 상호작용 모듈과 통합하여 최종 특징 추출기로 사용한다.
• 도메인 적대 학습을 사용하여 종합적으로 분류 및 도메인 혼동 손실을 최적화함으로써 시스템을 종단 간(end-to-end)으로 훈련시킨다.
• 적대적 훈련을 통해 다양한 주체 간 특징 분포를 정렬함으로써 도메인 불변 표현 학습을 촉진한다.

실험 결과

연구 질문

• RQ1 지식 정복은 복잡한 시공간 EEG 표현을 무거운 교사 모델에서 경량 학생 모델로 효과적으로 전이할 수 있는가?
• RQ2 제한된 EEG 데이터에서 정련된 학생 모델은 기존 DANN보다 더 나은 교차 주체 일반화 성능을 달성하는가?
• RQ3 제안된 방법은 EEG 기반 감정 인식에서 주체 간 도메인 불변 특징 학습에 얼마나 효과적인가?
• RQ4 정련을 통해 훈련된 경량 학생 모델은 주체 독립 평가에서 더 큰 모델을 능가할 수 있는가?
• RQ5 시간-공간 특징 상호작용 모듈은 표현 품질과 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 주체 독립 설정에서 DEAP 데이터셋에서의 각각의 자극 강도 및 정서 평가 분류에서 최신 기술 수준의 성능을 달성한다.
• t-SNE 시각화 결과, 학생 모델이 학습한 잠재 특징이 주체 간 더 도메인 불변이며 더 잘 분리되어 있음을 확인할 수 있다.
• 지식 정복 프레임워크는 경량 학생 모델이 교사로부터 복잡한 시간적 동역학과 공간 상관관계를 효과적으로 학습할 수 있도록 한다.
• 정복과 도메인 적대 학습의 조합은 제한된 훈련 데이터 조건에서도 주체 간 일반화 능력을 크게 향상시킨다.
• 학생 모델은 파rameter 수와 추론 비용을 줄여 실시간 응용에 적합한 높은 성능을 달성한다.
• 정량적 결과는 기준 DANN 및 기타 최신 기술 수준의 방법보다 DEAP 데이터셋에서 더 높은 정확도와 F1 점수를 보여준다.