[논문 리뷰] Entropy-Assisted Multi-Modal Emotion Recognition Framework Based on Physiological Signals

Kuan Tung, Po-Kang Liu외 3명|arXiv (Cornell University)|2018. 09. 22.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 AMIGOS 데이터셋의 생리신호(EEG, ECG, GSR)를 사용하여 엔트로피 보조 다중모달 정서 인식 프레임워크를 제안한다. 신호 복잡성을 캡처하기 위해 RCMSE, RCMPE, MMSE 및 MMPE 특징을 추출하고, 분류에 XGBoost를 활용함으로써, 각각 각성도에서 68%의 정확도와 정서도에서 84%의 정확도를 달성하여 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

As the result of the growing importance of the Human Computer Interface system, understanding human's emotion states has become a consequential ability for the computer. This paper aims to improve the performance of emotion recognition by conducting the complexity analysis of physiological signals. Based on AMIGOS dataset, we extracted several entropy-domain features such as Refined Composite Multi-Scale Entropy (RCMSE), Refined Composite Multi-Scale Permutation Entropy (RCMPE) from ECG and GSR signals, and Multivariate Multi-Scale Entropy (MMSE), Multivariate Multi-Scale Permutation Entropy (MMPE) from EEG, respectively. The statistical results show that RCMSE in GSR has a dominating performance in arousal, while RCMPE in GSR would be the excellent feature in valence. Furthermore, we selected XGBoost model to predict emotion and get 68% accuracy in arousal and 84% in valence.

연구 동기 및 목표

• 엔트로피 기반 특징을 사용하여 생리신호의 복잡성을 분석함으로써 정서 인식 성능을 향상시키는 것.
• 정서 컴퓨팅 분야에서 전통적인 시간 도메인 및 주파수 도메인 특징의 한계를 보완하기 위해 다중 척도 엔트로피 지표를 도입하는 것.
• 사회적 마스킹에 덜 민감한 비침습적 생리신호를 사용하여 사용자 독립적이고 견고한 정서 인식 프레임워크를 개발하는 것.
• 엔트로피 도메인 특징이 EEG, ECG 및 GSR 신호에서 각성도와 정서도와 같은 정서 상태를 구분하는 데 효과적인지 검증하는 것.
• 강력한 기계학습 분류기와 함께 엔트로피 기반 특징을 통합하여 기존 방법들을 능가하는 성능을 달성하는 것.

제안 방법

• ECG 및 GSR 신호에서 복합 다중 척도 엔트로피(RCMSE)와 개선된 복합 다중 척도 순열 엔트로피(RCMPE)를 추출하여 신호 복잡성을 정량화하는 것.
• 다중채널 EEG 데이터에 대해 다변량 다중 척도 엔트로피(MMSE)와 다변량 다중 척도 순열 엔트로피(MMPE)를 적용하여 채널 간 복잡성 분석을 수행하는 것.
• AMIGOS 데이터셋에서 모델 평가의 견고성을 확보하기 위해 한 명의 피험자를 제외한 교차 검증 기법을 사용하는 것.
• 성능 최적화를 위해 하이퍼파rameter 튜닝을 위해 그리드 서치를 활용한 XGBoost를 분류 모델로 사용하는 것.
• 통계적으로 유의미한 엔트로피 특징(p < 0.05)을 선별하고, 전통적 특징과 융합하여 모델 입력을 향상시키는 것.
• 양성 및 음성 정서 클래스의 분류 균형을 확보하기 위해 매크로 F1-스코어를 성능 평가 지표로 사용하는 것.

실험 결과

연구 질문

• RQ1 RCMSE 및 RCMPE와 같은 엔트로피 기반 특징이 생리신호에서 정서 상태 변화를 효과적으로 포착할 수 있는가?
• RQ2 EEG, ECG 및 GSR에서 각각의 엔트로피 도메인 특징(RCMSE, RCMPE, MMSE, MMPE) 중 어느 것이 각성도와 정서도와 가장 강한 통계적 상관관계를 보이는가?
• RQ3 기존 방법과 비교하여 엔트로피 도메인 특징을 전통적 특징과 융합함으로써 정서 인식 정확도가 향상되는가?
• RQ4 단일 모odal 및 다중 모달 생리신호 입력에 대해 엔트로피 기반 특징으로 훈련된 XGBoost 분류기가 어떤 성능을 보이는가?
• RQ5 XGBoost의 특징 중요도 분석에 따르면, 어떤 특정 엔트로피 특징이 분류 성능 향상에 가장 기여하는가?

주요 결과

• GSR에서의 RCMSE는 각성도 분류에 가장 뚜렷한 성능을 보이며, 정서적 자극 수준에 매우 민감함을 시사한다.
• GSR에서의 RCMPE는 정서도 분류에 매우 우수한 특징으로 나타나 긍정적-부정적 정서 상태를 강력하게 구분할 수 있음을 시사한다.
• 제안된 엔트로피 보조 프레임워크는 XGBoost를 사용하여 각성도 인식에서 68%의 정확도와 정서도 인식에서 84%의 정확도를 달성하였다.
• EEG, ECG, GSR의 다중 모달 신호와 엔트로피 특징을 융합함으로써, 이전 방법 대비 정서도 분류에서 +25.3%의 F1-스코어 향상과 EEG 전용 입력에서 +17.8%의 향상이 이루어졌다.
• 특징 중요도 분석 결과, EEG의 MMPE(τ=18, m=2)와 ECG의 RCMPE(τ=1, m=3)가 융합 성능 향상에 핵심 기여 요소로 나타났다.
• 통계적으로 유의미한 엔트로피 특징(각성도 41개, 정서도 101개)을 포함함으로써, 전통적 특징 세트만을 사용한 경우에 비해 성능 향상이 뚜렷하게 이루어졌다.