[논문 리뷰] Shapes of Emotions: Multimodal Emotion Recognition in Conversations via Emotion Shifts

Harsh Agarwal, Keshav Bansal외 2명|arXiv (Cornell University)|2021. 12. 03.

Emotion and Mood Recognition인용 수 12

한 줄 요약

이 논문은 급격한 정서 전환을 보이는 대화에서 성능을 향상시키기 위해 모듈형 정서 이동 성분을 통합한 다중모态 정서 인식 모델을 제안한다. 연속된 발화 간의 전환을 탐지하기 위해 시아네스 네트워크를 사용하고, GRU 기반 융합과 통합함으로써 MOSEI 및 IEMOCAP에서 기존 방법들을 능가하며, 특히 정서 전환 예측에서 20% 향상된 성능을 기록한다.

ABSTRACT

Emotion Recognition in Conversations (ERC) is an important and active research area. Recent work has shown the benefits of using multiple modalities (e.g., text, audio, and video) for the ERC task. In a conversation, participants tend to maintain a particular emotional state unless some stimuli evokes a change. There is a continuous ebb and flow of emotions in a conversation. Inspired by this observation, we propose a multimodal ERC model and augment it with an emotion-shift component that improves performance. The proposed emotion-shift component is modular and can be added to any existing multimodal ERC model (with a few modifications). We experiment with different variants of the model, and results show that the inclusion of emotion shift signal helps the model to outperform existing models for ERC on MOSEI and IEMOCAP datasets.

연구 동기 및 목표

• 발화 간 정서 전환을 명시적으로 모델링하여 대화 내 다중모달 정서 인식 성능을 향상시키는 것.
• 기존 순차적 모델이 급격한 정서 전환, 특히 긍정에서 부정으로의 전환을 처리하는 데에 한계를 보이는 문제를 해결하는 것.
• 기존의 다중모달 ERC 모델에 최소한의 수정으로 통합할 수 있는 모듈형이며 사전학습 가능한 성분을 설계하는 것.
• 정서 전환 중 GRU 게이트가 어떻게 반응하는지 분석하고, 성분이 정보 게이팅에 미치는 영향을 검증하는 것.
• 단지 두 개의 연속된 발화만을 사용하여 전환 탐지를 수행함으로써 실시간 적용 가능성을 확보하는 것.

제안 방법

• 텍스트, 음성, 비디오 특징을 조기 융합(모odal 임베딩의 연결) 방식으로 사용하는 다중모달 GRU 기반 모델.
• 독립적인 정서 이동 성분이 연속된 발화를 비교하고 정서 전환을 예측하기 위해 시아네스 네트워크를 사용한다.
• 정서 변화의 분별성 표현을 학습하기 위해 삼중손실을 사용하여 시아네스 네트워크를 훈련시키며, 초기 구현에서는 텍스트 모달리티만을 사용한다.
• 정서 이동 신호는 GRU 리셋 및 업데이트 게이트를 조절하여, 전환 시 오래된 정서 상태를 억제할 수 있도록 한다.
• 모듈형 아키텍처를 통해 기존 모델에 소수의 아키텍처 수정과 미세조정만으로 통합이 가능하다.
• 정성적 분석은 GRU 게이트 활성화를 시각화하여, 정서 이동 성분이 전환 시 과거 상태에 대한 의존도를 줄이는 데 성공했는지 확인한다.

실험 결과

연구 질문

• RQ1 연속된 발화 간 정서 전환을 모델링하면 다중모달 정서 인식 성능이 향상되는가?
• RQ2 정서 이동 성분의 포함 여부가 급격한 정서 전환을 보이는 발화의 예측에 어떤 영향을 미치는가?
• RQ3 정서 이동 모듈이 정서 전환 중 GRU 게이트 행동에 어느 정도의 影響을 미치는가?
• RQ4 정서 이동 성분은 단모달 및 다중모달 정서 인식 시스템에 효과적으로 적용될 수 있는가?
• RQ5 정서 이동 성분은 순차적으로 대화를 처리하는 실시간 정서 인식 시스템에 적합한가?

주요 결과

• 제안된 모델은 MOSEI 및 IEMOCAP 데이터셋에서 모두 기존 최고 성능 모델을 능가하며, 특히 정서 전환 탐지에서 뛰어난 성능을 기록한다.
• 정서 이동 성분은 Multilogue-Net 대비 부정에서 긍정으로의 전환에 대해 F1 점수 20% 향상, 긍정에서 부정으로의 전환에 대해 4% 향상된 성능 기록.
• 시아네스 네트워크 기반 정서 이동 성분은 텍스트 모달리티만을 사용할 경우 82.66%의 정확도를 기록하여, 다중모달 융합(82.20%)보다 높은 성능을 기록한다.
• 정성적 분석 결과, 정서 이동 성분이 정서 전환 중 GRU 리셋 게이트 활성화를 효과적으로 감소시키며, 과거 정서 상태에 대한 의존도를 줄이는 데 성공했다.
• 정서 전환이 발생하는 발화에서 모델의 성능이 크게 향상되어, 동적인 정서 전환을 다루는 데에 성분의 효과성이 입증되었다.
• 모듈형 설계 덕분에 정서 이동 성분은 다양한 모델 간에 재사용 가능하며, 단지 두 개의 연속된 발화만을 사용하여 실시간 환경에서도 적용 가능하다.