[논문 리뷰] MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

Devamanyu Hazarika, Roger Zimmermann외 1명|arXiv (Cornell University)|2020. 05. 07.

Humor Studies and Applications인용 수 62

한 줄 요약

MISA는 각 모달리티에 대해 모달리티-불변 표현과 모달리티-특정 표현을 학습하고, Transformer 기반 융합을 사용하여 멀티모달 감정 분석 및 유머 탐지를 향상시키며 MOSI, MOSEI, UR_FUNNY에서 최첨단(SOTA) 결과를 달성한다.

ABSTRACT

Multimodal Sentiment Analysis is an active area of research that leverages multimodal signals for affective understanding of user-generated videos. The predominant approach, addressing this task, has been to develop sophisticated fusion techniques. However, the heterogeneous nature of the signals creates distributional modality gaps that pose significant challenges. In this paper, we aim to learn effective modality representations to aid the process of fusion. We propose a novel framework, MISA, which projects each modality to two distinct subspaces. The first subspace is modality-invariant, where the representations across modalities learn their commonalities and reduce the modality gap. The second subspace is modality-specific, which is private to each modality and captures their characteristic features. These representations provide a holistic view of the multimodal data, which is used for fusion that leads to task predictions. Our experiments on popular sentiment analysis benchmarks, MOSI and MOSEI, demonstrate significant gains over state-of-the-art models. We also consider the task of Multimodal Humor Detection and experiment on the recently proposed UR_FUNNY dataset. Here too, our model fares better than strong baselines, establishing MISA as a useful multimodal framework.

연구 동기 및 목표

• 모달리티 간 간격과 이질성을 해결하여 멀티모달 감정 분석에서 향상된 융합을 추진한다.
• 모달 정보가 불변 서브스페이스와 특정 서브스페이스로 분해되도록 하는 표현 학습 프레임워크를 제안한다.
• 간단한 어텐션 기반 메커니즘으로 융합될 때 불변+특정 표현이 예측을 향상시킨다는 것을 시연한다.
• 감정 분석(MOSI/MOSEI)과 유머 탐지(UR_FUNNY)에서 교차 도메인 효과를 보여준다.

제안 방법

• 각 모달리티 발화를 두 개의 서브스페이스로 투영한다: 공유 모달리티-불변 공간과 모달리티-특정 프라이빗 공간.
• 모달리티 간 불변 인코더에 공통 매개변수를 사용하고 모달리티별로 모달리티-특정 인코더를 사용한다.
• 각 모달리티를 간단한 피드 포워드 인코더를 통해 여섯 개 벡터(세 개의 불변 벡터와 세 개의 특정 벡터)로 표현한다.
• 연결된 표현들에 대해 자기-attention Transformer로 여섯 벡터를 융합하여 예측용 결합 표현을 생성한다.
• 복합 손실로 학습한다: 작업 손실(task loss)과 불변 표현 정렬을 위한 유사도 손실(CMD), 중복 방지를 위한 차이(직교성) 손실, 모달리티 세부 정보를 보존하는 재구성 손실을 합친다.
• 손실 항: L = L_task + α L_sim + β L_diff + γ L_recon, 여기서 L_sim은 CMD를 사용하고, L_diff는 직교성을 강제하며, L_recon은 입력을 재구성한다.

실험 결과

연구 질문

• RQ1 모달리티-불변 표현을 학습하면 모달리티 간 차이를 줄이고 멀티모달 감정 분석에서 융합 성능을 향상시킬 수 있는가?
• RQ2 모달리티-특정 표현을 추가하면 불변 특징과 융합될 때 보완적인 정보가 제공되어 예측이 향상되는가?
• RQ3 간단한 Transformer 기반 융합이 불변 및 특정 표현을 활용하여 감정 분석과 유머 탐지에서 정확한 예측에 충분한가?
• RQ4 표준 MSA 벤치마크(MOSI, MOSEI)와 유머 탐지(UR_FUNNY)에서 SOTA baselines와 비교하여 MISA의 성능은 어느가?

주요 결과

• MISA는 이전 모델과 비교하여 MOSI 및 MOSEI에서 회귀 및 분류 지표에서 최첨단 성능을 달성한다.
• GloVe 및 BERT 언어 특성 모두 MISA의 이점을 얻고, 일반적으로 BERT가 GloVe보다 성능을 향상시킨다.
• UR_FUNNY에서 GloVe와 BERT 특성을 사용한 MISA가 강력한 기준선보다 성능이 우수하여 멀티모달 유머 탐지에 효과적임을 시사한다.
• 절제 연구에서 L_sim, L_diff 또는 L_recon을 제거하면 성능이 저하되어 각 구성 요소의 유용성을 확인시킨다.
• MOSEI의 SOTA ICCN 및 MHD의 C-MFN과 비교하여 MISA가 다수 지표에서 경쟁력 있는 향상을 제공한다.
• 모델은 발화 수준에서 작동하며 일부 더 복잡한 융합 방식보다 우수할 수 있어 융합 prior인 표현 학습의 가치를 강조한다.