[논문 리뷰] Exploring the contextual factors affecting multimodal emotion recognition in videos

Prasanta Bhattacharya, Raj Kumar Gupta외 1명|arXiv (Cornell University)|2020. 04. 28.

Emotion and Mood Recognition참고 문헌 82인용 수 5

한 줄 요약

이 연구는 얼굴 표정, 음성 톤, 텍스트 콘텐츠를 사용하여 영상에서 다중모odal 정서 인식에 성별과 정서적 에피소드 지속 시간이 미치는 영향을 조사한다. 수작업으로 주석이付け된 2,176개의 유튜브 영상을 사용하여, 다중모달 특징이 단모달 및 이모달 접근 방식보다 우수한 것으로 밝혀졌으며, 특히 남성 발화자와 짧은 정서 클립에서 두드러진 성능 향상을 보였고, 중립 및 기쁨 상태를 인식하는 데서 뚜렷한 향상이 있었다.

ABSTRACT

Emotional expressions form a key part of user behavior on today's digital platforms. While multimodal emotion recognition techniques are gaining research attention, there is a lack of deeper understanding on how visual and non-visual features can be used to better recognize emotions in certain contexts, but not others. This study analyzes the interplay between the effects of multimodal emotion features derived from facial expressions, tone and text in conjunction with two key contextual factors: i) gender of the speaker, and ii) duration of the emotional episode. Using a large public dataset of 2,176 manually annotated YouTube videos, we found that while multimodal features consistently outperformed bimodal and unimodal features, their performance varied significantly across different emotions, gender and duration contexts. Multimodal features performed particularly better for male speakers in recognizing most emotions. Furthermore, multimodal features performed particularly better for shorter than for longer videos in recognizing neutral and happiness, but not sadness and anger. These findings offer new insights towards the development of more context-aware emotion recognition and empathetic systems.

연구 동기 및 목표

• 발화자 성별과 정서적 에피소드 지속 시간과 같은 맥락적 요인이 다중모달 정서 인식 성능에 미치는 영향를 이해하는 것.
• 다중모달 특징(얼굴, 음성, 텍스트)이 다양한 정서 상태와 맥락에서 정서 인식 성능을 일관되게 향상시키는지 조사하는 것.
• 다중모달 융합이 단모달 또는 이모달 접근 방식보다 뛰어난 성능을 보이는 조건을 규명하는 것.
• 발화자 및 시간적 요인에 적응할 수 있는 맥락 인식 정서 계산 시스템 설계를 위한 실증적 통찰을 제공하는 것.

제안 방법

• 정서 인식을 위해 2,176개의 수작업으로 주석이付け된 공개 유튜브 영상 데이터셋을 활용하였다.
• 다중모달 특징을 추출: 얼굴 표정(얼굴 랜드마크 분석 사용), 음성 톤(프로소딕 특징), 텍스트 콘텐츠(NLP 기반 감정 및 정서 임베딩).
• 시각, 听각 및 텍스트 모달을 융합하기 위해 후기 또는 전기 융합 기법을 사용한 다중모달 융합 전략을 적용하였다.
• 다양한 정서 카테고리, 성별 그룹 및 영상 지속 시간 범주에서 표준 평가 지표(예: F1-스코어, 정확도)를 사용해 성능을 평가하였다.
• 다양한 맥락 조건 하에서 단모달, 이모달 및 다중모달 구성 간 비교 분석을 수행하였다.
• 지속 시간 영향을 평가하기 위해 영상을 짧은 및 긴 정서 에피소드로 분할하였다.

실험 결과

연구 질문

• RQ1 발화자 성별이 다중모달 정서 인식 시스템 성능에 어떤 영향을 미치는가?
• RQ2 정서적 에피소드의 지속 시간이 다중모달 특징의 정확도에 어떤 영향을 미치는가?
• RQ3 다중모달 특징이 단모달 또는 이모달 접근 방식보다 가장 뚜렷한 향상을 보이는 정서 상태는 무엇인가?
• RQ4 다중모달 융합이 덜 효과적인 특정 정서가 존재하는가? 만약 그렇다면 어떤 맥락적 조건에서 그러한 현상이 나타나는가?
• RQ5 발화자 성별과 에피소드 지속 시간을 보조 입력으로 통합함으로써 맥락 인식 정서 인식 모델을 향상시킬 수 있는가?

주요 결과

• 모든 정서 상태에서 다중모달 특징이 단모달 및 이모달 특징보다 일관되게 뛰어난 성능을 보였으며, F1-스코어 및 정확도에서 통계적으로 유의미한 향상이 있었다.
• 남성 발화자에서 다중모달 특징을 사용할 경우 여성 발화자보다 유의미하게 높은 정확도를 기록했으며, 특히 분노 및 슬픔 정서에서 두드러졌다.
• 짧은 정서 에피소드에서는 중립 및 기쁨 상태의 인식 정확도가 긴 클립 대비 F1-스코어 기준 최대 15% 향상되었다.
• 슬픔 및 분노 정서에서는 짧은 클립에서 유의미한 향상가 관찰되지 않아, 지속 시간에 대한 정서 특이적 민감성이 있음을 시사했다.
• 다중모달 및 단모달 시스템 간 성능 격차는 특히 남성 발화자에서 중립 및 기쁨 정서 인식에서 가장 두드러졌다.
• 성별 및 지속 시간과 같은 맥락적 요소는 다중모달 융합의 효과성에 상당한 영향을 미치며, 이는 적응형 모델 개발의 필요성을 시사한다.