[논문 리뷰] Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis

Shad Akhtar, Dushyant Singh Chauhan외 4명|arXiv (Cornell University)|2019. 05. 14.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 7

한 줄 요약

이 논문은 텍스트, 음성 및 시각적 입력을 사용하여 다중모달 감성 및 정서 인식을 동시에 수행하는 다중작업 학습 프레임워크를 제안한다. 반복 단위를 통해 문맥 수준의 다중모달 간 주의 메커니즘을 적용함으로써 발화 간 및 모달 간의 종속성을 포착하여 CMU-MOSEI 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Related tasks often have inter-dependence on each other and perform better when solved in a joint framework. In this paper, we present a deep multi-task learning framework that jointly performs sentiment and emotion analysis both. The multi-modal inputs (i.e., text, acoustic and visual frames) of a video convey diverse and distinctive information, and usually do not have equal contribution in the decision making. We propose a context-level inter-modal attention framework for simultaneously predicting the sentiment and expressed emotions of an utterance. We evaluate our proposed approach on CMU-MOSEI dataset for multi-modal sentiment and emotion analysis. Evaluation results suggest that multi-task learning framework offers improvement over the single-task framework. The proposed approach reports new state-of-the-art performance for both sentiment analysis and emotion analysis.

연구 동기 및 목표

• 비디오에서 감성 및 정서 인식을 향상시키기 위해 텍스트, 음성 및 시각적 입력을 융합하는 도전 과제를 해결하기 위해.
• 감성 및 정서 작업 간 상호의존성을 활용하여 일반화 능력과 예측 신뢰도를 향상시키기 위해.
• 주어진 발화 간 문맥적 종속성과 모달 특화 기여도를 주의 메커니즘을 통해 모델링하기 위해.
• 공유 표현을 사용하여 감성 및 정서 분류를 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 단일작업 학습 기반선을 초월하여 다중모달 정서 분석 벤치마크에서 성능을 향상시키기 위해.

제안 방법

• 비디오 내 발화 간 순차적 종속성을 모델링하기 위해 GRU 기반의 순환 신경망을 사용한다.
• 각 발화마다 텍스트, 음성 및 시각적 모달 간의 기여도를 동적으로 가중하는 문맥 수준의 다중모달 간 주의 메커니즘을 적용한다.
• 감성 및 정서 헤드 간 하위층 표현을 공유하면서도 별도의 분류 헤드를 유지함으로써 다중작업 학습을 통합한다.
• 모달 특화 임베딩의 후기 융합을 주의 기반으로 수행함으로써, 각 인스턴스에서 가장 정보가 많은 모달에 집중할 수 있도록 한다.
• 감성 및 정서 분류 작업 모두에 대해 교차 엔트로피 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 표현 학습을 향상시키기 위해 발화 간 문맥과 다중모달 특징 간 주의를 모두 활용한다.

실험 결과

연구 질문

• RQ1 감성 및 정서 인식을 공동으로 학습하면 다중모달 환경에서 단일작업 학습보다 성능 향상이 이루어지는가?
• RQ2 발화 간 문맥적 종속성은 어떻게 다중모달 정서 인식을 향상시키는가?
• RQ3 다양한 발화 맥락에서 감성 및 정서 예측에 가장 기여하는 모달(텍스트, 음성, 시각)은 무엇인가?
• RQ4 감성과 정서 간의 상호의존성을 모델링할 경우 분류 정확도는 어느 정도 향상되는가?
• RQ5 주의 메커니즘은 각 예측에 가장 관련성이 높은 모달과 발화를 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 다중작업 학습 프레임워크는 CMU-MOSEI 벤치마크에서 감성 및 정서 분석 모두 최신 기술 수준의 성능을 달성한다.
• MTL 프레임워크는 단일작업 학습 기반선 대비 정밀도와 재현율을 향상시킨다: 예를 들어, 감성 분류에서 MTL은 정밀도 0.5와 재현율 1.0을 기록했고, STL 기반선은 각각 0.3과 0.5였다.
• 단일작업 모델이 세 개의 정확한 정서 중 하나만 올바르게 예측한 경우, 모델은 네 가지 정서(분노, 혐오, 기쁨, 슬픔)를 모두 올바르게 예측한다.
• 감성 지식은 정서 분류를 크게 향상시킨다: 예를 들어, 긍정적 감성은 '기쁨' 정서 예측에 도움이 되며, 이는 정서의 긍정-부정 연관성과 일치한다.
• MTL 프레임워크는 '분노'(1173건 예측)와 '슬픔'(1618건 예측)을 과도하게 예측하고, '공포'와 '놀람'은 저예측하는 경향이 있는데, 이는 데이터셋의 클래스 불균형 때문일 가능성이 높다.
• 모델은 다중작업 학습이 모호하거나 비꼬임이 있는 발화에서 더 나은 증거 확보와 일반화 능력을 향상시킬 수 있음을 보여준다.