[논문 리뷰] Multimodal Emotion Recognition for One-Minute-Gradual Emotion Challenge

Ziqi Zheng, Chenjie Cao외 2명|arXiv (Cornell University)|2018. 05. 03.

Emotion and Mood Recognition참고 문헌 26인용 수 22

한 줄 요약

이 논문은 한 분량의 영상 클립에서 연속적인 각성도와 가치도를 예측하기 위한 다중모달 접근법을 제시한다. 음성, 시각적, 텍스트 특징을 전용 모델을 통해 추출한 후 SVM 기반 융합을 수행한다. 이 방법은 검증 세트에서 각성도에 대해 0.397, 가치도에 대해 0.520의 Concordant Correlation Coefficient (CCC) 점수를 기록하며, 기준 모델들보다 뚜렷이 뛰어난 최신 기술 성능을 달성한다.

ABSTRACT

The continuous dimensional emotion modelled by arousal and valence can depict complex changes of emotions. In this paper, we present our works on arousal and valence predictions for One-Minute-Gradual (OMG) Emotion Challenge. Multimodal representations are first extracted from videos using a variety of acoustic, video and textual models and support vector machine (SVM) is then used for fusion of multimodal signals to make final predictions. Our solution achieves Concordant Correlation Coefficient (CCC) scores of 0.397 and 0.520 on arousal and valence respectively for the validation dataset, which outperforms the baseline systems with the best CCC scores of 0.15 and 0.23 on arousal and valence by a large margin.

연구 동기 및 목표

• 1분 분량의 영상 클립에서 점진적인 정서 변화를 연속적인 차원 정서 공간을 통해 모델링하는 데 도전한다.
• 다중모달 데이터를 활용하여 기준 모델들을 초월해 각성도와 가치도를 예측한다.
• 다양한 모달을 통합하여 향상된 정서 인식 성능를 달성하기 위한 강력한 융합 전략을 개발한다.

제안 방법

• 전용 음성, 영상, 텍스트 모델을 사용하여 영상에서 다중모달 표현을 추출한다.
• 지능형 기반의 조기 융합을 위해 지지 벡터 기반 기계학습(SVM)을 사용하여 연속적인 각성도와 가치도를 예측한다.
• 정서의 동적 변화를 포착하기 위해 각성도와 가치도 차원에 기반한 연속적인 차원 정서 모델을 적용한다.
• One-Minute-Gradual (OMG) Emotion Challenge 데이터셋을 사용해 모델을 훈련하고 검증한다.
• 검증 데이터에서 Concordant Correlation Coefficient (CCC)를 최대화하도록 융합 과정을 최적화한다.
• 다양한 미리 훈련된 모델을 사용하여 각 모달 간 풍부한 표현을 확보한다.

실험 결과

연구 질문

• RQ1 음성, 영상, 텍스트 특징의 다중모달 융합이 장시간 영상 클립에서의 연속적 정서 예측을 향상시킬 수 있는가?
• RQ2 SVM 기반의 다중모달 신호 융합은 각성도와 가치도 예측에서 기준 모델과 비교해 어떻게 성능을 냈는가?
• RQ3 연속적인 차원 모델은 1분 분량의 영상 시퀀스에서 점진적인 정서 변화를 어느 정도 잘 포착할 수 있는가?

주요 결과

• 제안된 방법은 검증 데이터셋에서 각성도 예측에 대해 Concordant Correlation Coefficient (CCC) 0.397을 기록했다.
• 모델은 가치도 예측에 대해 CCC 0.520을 기록했으며, 기준 시스템들보다 뚜렷이 뛰어난 성능를 보였다.
• 결과는 기준 모델이 각각 각성도 0.15, 가치도 0.23를 기록한 것에 비해 상당한 향상을 보였음을 시사한다.
• 다중모달 표현과 SVM 기반 융합을 활용함으로써 더 정확하고 안정적인 정서 예측이 가능했다.
• 지속적인 차원 모델링을 통해 1분 분량의 영상 클립에서 점진적인 정서 전환을 효과적으로 포착했다.
• 다양한 모달의 조기 융합이 연속적 정서 인식 작업에서 효과적임을 확인했다.