[논문 리뷰] Multimodal Continuous Emotion Recognition using Deep Multi-Task Learning with Correlation Loss

Berkay Köprü, Engin Erzin|arXiv (Cornell University)|2020. 11. 02.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 음성 및 신체 운동 신호를 이용한 연속된 정서 인식을 위해 다중모odal 딥 다중작업 학습 프레임워크를 제안한다. 이는 활성도(Activation), 정서적 평형도(Valence), 지배성(Dominance)를 예측한다. 원시 신호와 추출된 특징의 조기 융합, 다중작업 학습, 상관계수 기반 손실 함수(ICC 및 PCC)를 결합함으로써, 단일작업 학습 및 MSE 손실 기반 베이스라인에 비해 성능 향상이 뚜렷하다. 특히 정서적 평형도 예측에서 6%의 ICC 향상과 RECOLA 데이터셋에서 13% 이상의 향상이 이루어졌다.

ABSTRACT

In this study, we focus on continuous emotion recognition using body motion and speech signals to estimate Activation, Valence, and Dominance (AVD) attributes. Semi-End-To-End network architecture is proposed where both extracted features and raw signals are fed, and this network is trained using multi-task learning (MTL) rather than the state-of-the-art single task learning (STL). Furthermore, correlation losses, Concordance Correlation Coefficient (CCC) and Pearson Correlation Coefficient (PCC), are used as an optimization objective during the training. Experiments are conducted on CreativeIT and RECOLA database, and evaluations are performed using the CCC metric. To highlight the effect of MTL, correlation losses and multi-modality, we respectively compare the performance of MTL against STL, CCC loss against root mean square error (MSE) loss and, PCC loss, multi-modality against single modality. We observe significant performance improvements with MTL training over STL, especially for estimation of the valence. Furthermore, the CCC loss achieves more than 7% CCC improvements on CreativeIT, and 13% improvements on RECOLA against MSE loss.

연구 동기 및 목표

• 연속 정서 인식(CER)에서 훈련 손실(MSE 등)과 평가 지표(ICC, PCC 등) 간의 불일치 문제를 상관계수 기반 손실 함수를 통해 해결한다.
• AVD 예측 작업 간 공유 표현 학습을 통해, 제한된 정서적 레이블 데이터에서 일반화 능력과 강인성을 향상시키기 위해 다중작업 학습(MTL)을 활용한다.
• 원시 신호와 추출된 특징에서의 다중모달 입력(음성 및 신체 운동)의 조기 융합과 끝에서 끝까지의 학습을 통해 성능을 향상시킨다.
• 다중모달 CER 환경에서 다중작업 학습(MTL)과 상관계수 기반 손실 함수가 단일작업 학습(STL) 및 MSE 손실에 비해 우월함을 입증한다.

제안 방법

• 원시 음성 신호와 신체 운동 시퀀스를 추출된 특징(MFCC 및 올레르 각도)과 융합하는 반완전형 엔드 투 엔드 딥 신경망을 제안한다.
• 활성도, 정서적 평형도, 지배성(AVD)의 세 가지 연속 정서 차원을 동시에 예측하기 위해 다중작업 학습(MTL)을 적용하여 공유 표현 학습을 장려한다.
• 표준 MSE 대신 상관계수 기반 손실 함수인 공존 상관계수 계수(ICC)와 피어슨 상관계수 계수(PCC)를 최적화 목표로 사용한다.
• 성능에 미치는 맥락 길이의 영향을 평가하기 위해 다양한 수용장치 크기(N=20, 40, 60)를 가진 시간 창 적용.
• 프레임당 39차원 음성 특징 벡터(MFCC + 에너지 + 도함수)와 24차원 신체 운동 특징 벡터(올레르 각도 + 차분)를 사용한다.
• 모델을 CreativeIT 및 RECOLA 데이터셋에서 훈련하며, 모든 분석에서 주요 평가 지표로 ICC를 사용한다.

실험 결과

연구 질문

• RQ1 다중모달 환경에서 다중작업 학습(MTL)이 단일작업 학습(STL)에 비해 연속 정서 인식 성능을 향상시키는가?
• RQ2 공존 상관계수 계수(ICC)를 손실 함수로 사용할 경우, 평균 제곱오차(MSE)에 비해 AVD 차원의 예측 성능에서 어떤 차이가 있는가?
• RQ3 음성 및 신체 운동 모달리티를 융합할 경우, 단일 모달리티 사용 대비 CER 정확도에 어떤 영향을 미치는가?
• RQ4 시간 맥락 길이(창 크기)는 제안된 MTL 모델의 AVD 예측 성능에 어떤 영향을 미치는가?
• RQ5 상관계수 기반 손실 함수는 훈련 목표를 평가 지표와 더 잘 일치시켜, CER에서 일반화 능력을 향상시키는가?

주요 결과

• 제안된 CER-MTL 모델은 CreativeIT 데이터셋에서 STL 기준에 비해 정서적 평형도 예측에서 6%의 ICC 향상을 기록했으며, 활성도는 0.38 대 0.31, 정서적 평형도는 0.16 대 0.10을 기록했다.
• RECOLA 데이터셋에서 CER-MTL은 활성도에 대해 0.66의 ICC, 정서적 평형도에 대해 0.34의 ICC를 기록했으며, STL 기준(각각 0.62 및 0.27)을 초월했다.
• ICC 손실로 훈련할 경우, MSE 손실 대비 CreativeIT에서 7% 이상, RECOLA에서 13% 이상의 ICC 향상을 기록했으며, 지표에 맞는 최적화의 효과를 입증했다.
• 시간 창 크기(N)를 20에서 60으로 늘일 경우, 활성도 예측 성능이 크게 향상되었으며(0.38에서 0.45로), 정서적 평형도 및 지배성에서는 일관된 추세를 보이지 않았다.
• RECOLA 개발 세트에서 CER-MTL 모델은 활성도에 대해 0.79의 ICC, 정서적 평형도에 대해 0.37의 ICC를 기록했으며, 최신 기술(SOTA)에 비해 활성도 예측에서 최소 1% 이상의 ICC 향상을 달성했다.
• 높은 복잡도에도 불구하고, [12]에서 제안한 순수 CNN 기반 베이스라인은 CreativeIT에서 CER-MTL 모델에 비해 최소 11% 이상의 ICC를 떨어뜨려, MTL과 상관계수 기반 손실의 유용성을 시사한다.