[논문 리뷰] Multimodal Emotion-Cause Pair Extraction in Conversations

Fanfan Wang, Zixiang Ding외 3명|arXiv (Cornell University)|2021. 10. 15.

Sentiment Analysis and Opinion Mining참고 문헌 42인용 수 5

한 줄 요약

이 논문은 다중모달 대화 데이터(텍스트, 음성, 영상)에서 정서-원인 쌍을 동시에 추출하는 새로운 작업인 대화 내 다중모달 정서-원인 쌍 추출(MC-ECPE)을 소개한다. 저자들은 시트콤 '프렌즈'에서 13,509개의 발화문을 바탕으로 9,272개의 정의된 쌍을 포함하는 정서-원인-프렌즈(ECF) 데이터셋을 구축하고, 다중모달 특징을 융합하는 기반 시스템을 수립하여 음성 및 시각 모달이 텍스트에 명시적으로 기재되지 않은 원인의 추론에 특히 효과적으로 기여함을 입증한다.

ABSTRACT

Emotion cause analysis has received considerable attention in recent years. Previous studies primarily focused on emotion cause extraction from texts in news articles or microblogs. It is also interesting to discover emotions and their causes in conversations. As conversation in its natural form is multimodal, a large number of studies have been carried out on multimodal emotion recognition in conversations, but there is still a lack of work on multimodal emotion cause analysis. In this work, we introduce a new task named Multimodal Emotion-Cause Pair Extraction in Conversations, aiming to jointly extract emotions and their associated causes from conversations reflected in multiple modalities (text, audio and video). We accordingly construct a multimodal conversational emotion cause dataset, Emotion-Cause-in-Friends, which contains 9,272 multimodal emotion-cause pairs annotated on 13,509 utterances in the sitcom Friends. We finally benchmark the task by establishing a baseline system that incorporates multimodal features for emotion-cause pair extraction. Preliminary experimental results demonstrate the potential of multimodal information fusion for discovering both emotions and causes in conversations.

연구 동기 및 목표

• 다중모달 대화 데이터에서 정서와 그 원인을 동시에 추출하는 새로운 작업인 대화 내 다중모달 정서-원인 쌍 추출(MC-ECPE)을 소개하기 위해.
• 기존 연구가 주로 텍스트 기반의 단모달 정서-원인 분석에 집중해 온 점을 고려하여, 자연스럽고 다중모달적인 대화 환경에서의 분석 격차를 보완하기 위해.
• 시트콤 '프렌즈'에서 13,509개의 발화문을 바탕으로 텍스트, 음성, 영상 모달을 포함한 대규모 인간 주석 데이터셋인 정서-원인-프렌즈(ECF)를 구축하기 위해.
• MC-ECPE 작업을 평가하기 위해 다중모달 특징을 통합한 기반 시스템을 개발하여 정서 및 원인 추출 성능을 향상시키기 위해.

제안 방법

• 제안된 기반 시스템인 MC-ECPE-2steps는 다중모달 입력 표현을 사용하는 시퀀스 레이블링 방법을 통해 정서 및 원인 발화문을 별도로 식별한다.
• 텍스트, 음성, 영상에서 추출된 다중모달 특징은 사전 훈련된 모델을 활용한다: 텍스트는 BERT, 음성은 Wav2Vec2, 영상은 ViTPose를 사용하며, 이 특징들은 결합되어 통합 표현을 형성한다.
• 발화문 간의 시간적 및 순차적 관계를 모델링하기 위해 상대적 위치 인코딩을 사용하여 정서-원인 쌍의 정렬을 향상시킨다.
• 이중 단계 파이프라인을 적용한다: 첫 번째 단계에서 정서 및 원인 발화문을 독립적으로 예측하고, 두 번째 단계에서 후보 쌍을 구성하고 분류 헤드를 통해 점수를 매긴다.
• 대표성 학습 과정에서 다양한 모달 간 중요도를 동적으로 가중하기 위해 어텐션 메커니즘을 활용한다.
• 모델은 ECF 데이터셋에서 엔드 투 엔드로 미세조정되며, 정서 및 원인 예측 작업에 최적화된 손실 함수가 적용된다.

실험 결과

연구 질문

• RQ1 텍스트, 음성, 영상의 다중모달 융합이 단모달 접근 방식에 비해 대화 환경에서 정서-원인 쌍 추출 성능을 얼마나 향상시키는가?
• RQ2 음성 및 시각 모달이 텍스트에 명시적으로 기재되지 않은 원인을 식별하는 데 얼마나 기여하는가?
• RQ3 다중모달 특징의 통합이 암시적 또는 맥락 기반 원인에 대해 정서-원인 쌍 추출의 재현율과 정밀도에 어떤 영향을 미치는가?
• RQ4 정서 카테고리의 불균형이 MC-ECPE 모델 성능에 미치는 영향은 무엇이며, 다중모달 특징이 이 문제를 완화하는 데 기여하는가?
• RQ5 다중모달 특징을 통합한 기반 시스템이 MC-ECPE 작업에서 단모달 또는 통계 기반 기반 시스템을 초월할 수 있는가?

주요 결과

• 다중모달 특징을 통합한 기반 시스템(MC-ECPE-2steps)은 통계 기반 기반 시스템보다 유의하게 뛰어난 성능을 보이며, 상대적 위치 정보만으로는 정확한 정서-원인 쌍 추출이 불가능함을 입증한다.
• 음성 특징을 제거하면 F1 점수가 감소하여 발화의 억양과 어조가 정서적 자극을 식별하는 데 핵심적인 역할을 함을 시사한다.
• 시각 특징을 제거하면 F1 점수가 하락하여 얼굴 표정과 장면 맥락과 같은 시각적 단서가 암묵적 원인 탐지에 필수적임을 보여준다.
• 음성 및 시각 특징을 모두 제거하면 F1 점수가 1.9% 감소하여 텍스트에 명시되지 않은 원인을 밝혀내는 데 다중모달 정보의 상호보완적 가치가 높음을 입증한다.
• 모델은 '놀람' 정서 카테고리에 대해 가장 높은 성능을 기록하고, '공포'에 대해 가장 낮은 성능을 보이며, 이는 카테고리 불균형과 미묘하거나 강렬한 정서 상태를 인식하는 데의 어려움을 반영한다.
• 시각 특징은 음성 특징보다 略적으로 기여도가 낮아 대화에서 시각적 장면 이해가 현재의 다중모달 표현 학습 기술에 있어 여전히 도전적인 과제임을 시사한다.