[논문 리뷰] Automatic Emotion Recognition (AER) System based on Two-Level Ensemble of Lightweight Deep CNN Models

Emad-ul-Haq Qazi, Muhammad Hussain외 2명|arXiv (Cornell University)|2019. 04. 30.

EEG and Brain-Computer Interfaces참고 문헌 43인용 수 11

한 줄 요약

이 논문은 EEG 신호로부터 자동 정서 인식(AER)을 위한 경량 1D-CNN 모델의 이중 수준 앙상블인 Deep-AER를 제안한다. 적은 파라미터를 가진 피라미드형 1D-CNN를 활용하고 채널 및 수준 간 다수결 투표 방식으로 예측를 융합함으로써, DEAP 데이터셋에서 HV 대 LV 분류 시 98.43%의 정확도와 HA 대 LA 분류 시 97.65%의 정확도를 달성하여 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Emotions play a crucial role in human interaction, health care and security investigations and monitoring. Automatic emotion recognition (AER) using electroencephalogram (EEG) signals is an effective method for decoding the real emotions, which are independent of body gestures, but it is a challenging problem. Several automatic emotion recognition systems have been proposed, which are based on traditional hand-engineered approaches and their performances are very poor. Motivated by the outstanding performance of deep learning (DL) in many recognition tasks, we introduce an AER system (Deep-AER) based on EEG brain signals using DL. A DL model involves a large number of learnable parameters, and its training needs a large dataset of EEG signals, which is difficult to acquire for AER problem. To overcome this problem, we proposed a lightweight pyramidal one-dimensional convolutional neural network (LP-1D-CNN) model, which involves a small number of learnable parameters. Using LP-1D-CNN, we build a two level ensemble model. In the first level of the ensemble, each channel is scanned incrementally by LP-1D-CNN to generate predictions, which are fused using majority vote. The second level of the ensemble combines the predictions of all channels of an EEG signal using majority vote for detecting the emotion state. We validated the effectiveness and robustness of Deep-AER using DEAP, a benchmark dataset for emotion recognition research. The results indicate that FRONT plays dominant role in AER and over this region, Deep-AER achieved the accuracies of 98.43% and 97.65% for two AER problems, i.e., high valence vs low valence (HV vs LV) and high arousal vs low arousal (HA vs LA), respectively. The comparison reveals that Deep-AER outperforms the state-of-the-art systems with large margin. The Deep-AER system will be helpful in monitoring for health care and security investigations.

연구 동기 및 목표

• EEG 신호를 사용하는 전통적인 수작업 특징 추출 기반 AER 시스템의 낮은 성능 문제를 해결하기 위해.
• 학습 데이터 부족 문제를 해결하기 위해 학습 가능한 파라미터가 적은 경량 딥러닝 모델을 설계하여 EEG 기반 AER의 데이터 의존도를 줄이기 위해.
• 채널별 및 신호 전반의 예측를 융합하는 이중 수준 앙상블 전략을 통해 정서 인식 정확도를 향상시키기 위해.
• 기준 DEAP 데이터셋에서 모델의 강건성과 효과성을 검증하기 위해.

제안 방법

• 학습 가능한 파라미터가 최소한인 경량 피라미드형 일차원 합성곱 신경망(LP-1D-CNN)을 제안하여 데이터 의존도를 감소시켰다.
• 첫 번째 수준 앙상블에서 각 EEG 채널에 대해 LP-1D-CNN를 독립적으로 적용하여 개별 예측를 생성했다.
• 채널 수준의 정서 추정치를 도출하기 위해 첫 번째 수준 예측를 다수결 투표 방식으로 융합했다.
• 두 번째 수준 앙상블에서 모든 채널 수준 예측를 다수결 투표로 융합하여 최종 정서 상태를 결정했다.
• DEAP 데이터셋에서 모델을 훈련 및 평가하였으며, 고발성 대 저발성(HV 대 LV)과 고도발성 대 저도발성(HA 대 LA)을 분류 과제로 사용했다.
• 정서 처리에서 지배적인 역할을 하는 전두부 뇌 영역의 EEG 신호를 주로 정서 관련 특징의 원천으로 활용했다.

실험 결과

연구 질문

• RQ1 제한된 학습 데이터로도 경량 딥러닝 모델이 EEG 기반 정서 인식에서 높은 정확도를 달성할 수 있는가?
• RQ2 채널 및 수준 간 예측를 융합하는 이중 수준 앙상블 전략이 정서 인식 성능을 향상시키는가?
• RQ3 어느 EEG 영역이 AER 시스템에서 정확도 향상에 가장 기여하는가?
• RQ4 기준 데이터셋에서 제안된 Deep-AER 시스템은 기존 최고 수준의 방법들과 비교해 정확도와 강건성 면에서 어떻게 다른가?
• RQ5 다양한 채널 전용 예측에 대한 다수결 투표가 정서 분류의 신뢰성을 향상시키는가?

주요 결과

• Deep-AER 시스템은 DEAP 데이터셋에서 고발성 대 저발성 정서를 구분하는 데 98.43%의 정확도를 달성했다.
• 시스템은 고도발성 대 저도발성 상태를 분류하는 데 97.65%의 정확도를 기록하여 두 번째 정서 차원에서 강력한 성능을 보였다.
• 전두부 EEG 영역가 정서 인식에서 지배적인 역할을 한다는 것이 확인되어, 모델 설계 시 이 영역에 초점을 맞춘 것이 타당하다고 지지되었다.
• 이중 수준 앙상블 전략은 여러 EEG 채널을 통해 예측를 집계함으로써 분류의 강건성을 크게 향상시켰다.
• Deep-AER는 기존 최고 수준의 AER 시스템을 크게 앞서며, 경량화 및 앙상블 기반 접근 방식의 효과성을 확인했다.
• LP-1D-CNN 모델의 낮은 파라미터 수는 자원 제약 환경, 예를 들어 실시간 헬스 모니터링 시스템에의 배포에 적합함을 시사한다.