[논문 리뷰] Benchmarking Domain Generalization on EEG-based Emotion Recognition

Yan Li, Hao Chen외 3명|arXiv (Cornell University)|2022. 04. 18.

EEG and Brain-Computer Interfaces인용 수 7

한 줄 요약

이 논문은 타겟 도메인 데이터 없이도 미리보지 않은 사용자에게 일반화할 수 있는 모델을 훈련하기 위해 다수의 소스 주체를 사용하여 EEG 기반 정서 인식에서 최신 도메인 일반화(DG) 방법을 벤치마킹한다. 잘 튜닝된 MLP 기준 모델과 RSC DG 방법을 사용할 경우 SEED 데이터셋에서 정확도가 79.41%에 도달함을 입증하여, 실세계 BCI 응용 분야에서의 제로 트레이닝 정서 인식에 DG의 잠재력을 보여준다.

ABSTRACT

Electroencephalography (EEG) based emotion recognition has demonstrated tremendous improvement in recent years. Specifically, numerous domain adaptation (DA) algorithms have been exploited in the past five years to enhance the generalization of emotion recognition models across subjects. The DA methods assume that calibration data (although unlabeled) exists in the target domain (new user). However, this assumption conflicts with the application scenario that the model should be deployed without the time-consuming calibration experiments. We argue that domain generalization (DG) is more reasonable than DA in these applications. DG learns how to generalize to unseen target domains by leveraging knowledge from multiple source domains, which provides a new possibility to train general models. In this paper, we for the first time benchmark state-of-the-art DG algorithms on EEG-based emotion recognition. Since convolutional neural network (CNN), deep brief network (DBN) and multilayer perceptron (MLP) have been proved to be effective emotion recognition models, we use these three models as solid baselines. Experimental results show that DG achieves an accuracy of up to 79.41\% on the SEED dataset for recognizing three emotions, indicting the potential of DG in zero-training emotion recognition when multiple sources are available.

연구 동기 및 목표

• 훈련 중 타겟 도메인 데이터가 제공되지 않는 조건에서 도메인 일반화(DG) 기법이 EEG 기반 정서 인식에 적용 가능한지 타당성과 효과성을 평가하는 것.
• 실세계 구현 환경에서 구현이 어려운 타겟 도메인의 레이블이 없는 데이터가 필요로 하는 도메인 적응(DA) 방법의 한계를 해결하는 것.
• SEED EEG 데이터셋을 사용하여 강력한 딥 러닝 기준 모델(CNN, DBN, MLP)과 함께 최신 DG 알고리즘의 성능을 평가하기 위한 기준을 설정하는 것.
• 정서 인식에서 새로운 주제에 대해 제로샷 일반화를 달성하기 위해 가장 높은 성능을 보이는 DG 방법과 기준 모델 조합을 규명하는 것.

제안 방법

• 프레임워크는 각 주체의 EEG 데이터를 별개의 도메인으로 간주하며, 훈련 시 여러 소스 도메인을 활용해 도메인 불변 특징을 학습한다.
• 타겟 데이터가 필요로 하지 않는 조건에서 주체 간 도메인 이탈을 줄이기 위해 ERM, DANN, RSC, Mixup, MMD, CORAL의 6가지 대표적인 DG 방법을 평가한다.
• 세 가지 딥 러닝 기준 모델을 사용한다: ResNet 변종(18, 34, 50), 2~4개의 완전 연결층을 가진 MLP, 두 개의 RBM 층을 가진 DBN.
• 각 DG 방법에 대해, 한 주체를 제외한 나머지 주체를 사용해 모델을 훈련하고, 그 제외된 주체를 타겟 도메인으로 간주하며, 15개의 가능한 타겟 주체에 대해 성능을 평균화한다.
• 학습률, 배치 크기(8, 16, 32), 학습 에포크 수 등 하이퍼파라미터를 튜닝하여 성능을 최적화한다.
• 정확도의 평균과 표준편차를 15번의 교차 주체 평가에 대해 평가하여 성능의 안정성과 분산 감소를 확보한다.

실험 결과

연구 질문

• RQ1 타겟 도메인 데이터가 전혀 필요 없이 도메인 일반화 기법이 EEG 데이터 기반 제로 트레이닝 정서 인식 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 SEED 데이터셋에서 삼정서 인식에 대해 DG 방법과 딥 러닝 기준 모델의 조합 중 가장 높은 정확도를 달성하는 조합은 무엇인가?
• RQ3 배치 크기와 학습 에포크 수 등의 하이퍼파라미터는 EEG 기반 정서 인식에서 DG 기법의 성능에 어떤 영향을 미치는가?
• RQ4 전통적인 딥 러닝 모델(예: ResNet, MLP, DBN)은 교차 주체 EEG 정서 인식에서 DG 기법과 조합했을 때 성능적으로 어떻게 비교되는가?

주요 결과

• RSC 도메인 일반화 방법을 사용한 MLP-4 기준 모델이 SEED 데이터셋에서 최고의 정확도 79.41%를 기록하여 모든 조합 중에서 가장 뛰어난 성능을 보였다.
• 모든 기준 모델에 대해 평균 정확도가 가장 높은 것은 Mixup로, 71.17%를 기록하여 강력한 일반화 능력을 보였다.
• MLP 모델은 항상 ResNet 변종보다 뛰어났으며, 이는 EEG 데이터가 이미지 유사한 공간적 구조를 가지지 않아 CNN이 최적의 성능을 내지 못할 수 있음을 시사한다.
• DBN 모델은 ResNet보다 성능이 뛰어났지만 MLP보다는 열등하여, 깊이 있는 신뢰 네트워크는 효과적이지만 이 작업에 대해선 최신 기술 수준은 아님을 나타낸다.
• 하이퍼파라미터 튜닝은 성능에 상당한 영향을 미쳤으며, 특히 배치 크기와 학습 에포크 수가 DG 기법의 안정성과 정확도에 뚜렷한 영향을 미쳤다.
• 벤치마크는 DG와 적절한 기준 모델을 조합하면 제로 트레이닝 정서 인식에서 높은 성능을 달성할 수 있음을 입증하여, 실세계 정서적 BCI 응용 분야에 적합함을 보여준다.