[논문 리뷰] Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis

Jiahao Zheng, Sen Zhang외 2명|arXiv (Cornell University)|2022. 01. 10.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 다중모态 감성 분석 모델인 MMMIE를 제안하며, 모달 간 상호정보량을 동시에 최대화하고 입력과 특징 간 상호정보량을 최소화하여 노이즈를 걸러내는 방식으로 강건성과 문맥 모델링을 향상시킨다. 정체성 임bedding을 통합하여 문맥 인식 능력을 향상시켜 IEMOCAP 및 CMU-MOSEI 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Multimodal sentiment analysis (MSA) is a fundamental complex research problem due to the heterogeneity gap between different modalities and the ambiguity of human emotional expression. Although there have been many successful attempts to construct multimodal representations for MSA, there are still two challenges to be addressed: 1) A more robust multimodal representation needs to be constructed to bridge the heterogeneity gap and cope with the complex multimodal interactions, and 2) the contextual dynamics must be modeled effectively throughout the information flow. In this work, we propose a multimodal representation model based on Mutual information Maximization and Minimization and Identity Embedding (MMMIE). We combine mutual information maximization between modal pairs, and mutual information minimization between input data and corresponding features to mine the modal-invariant and task-related information. Furthermore, Identity Embedding is proposed to prompt the downstream network to perceive the contextual information. Experimental results on two public datasets demonstrate the effectiveness of the proposed model.

연구 동기 및 목표

• 다중모달 감성 분석에서 텍스트, 음성, 영상 모달 간 이질성 간극을 해소한다.
• 최소 충분 정보 제약을 통해 재건 및 노이즈 정보를 걸러내어 모델의 강건성을 향상시킨다.
• 깊이에서 浅층으로의 문맥 인식을 가능하게 하여 대화 시퀀스 간 문맥 모델링을 향상시킨다.
• 상호정보량 최적화와 정체성 임베딩을 통합한 통합 프레임워크를 개발하여 엔드 투 엔드 다중모달 표현 학습을 실현한다.
• 기존 방법들이 기하학적 변형이나 후기 상호작용 메커니즘에 의존하는 데서 비롯되는 한계를 극복하며, 이는 일반적으로 계산 비용을 증가시키고 얕은 층 정보를 손실하기 때문이다.

제안 방법

• MINE 추정기를 사용하여 텍스트-음성, 음성-영상, 텍스트-영상 모달 쌍 간 상호정보량(MI) 최대화를 통해 모달 불변 표현을 학습한다.
• CLUB 추정기를 활용해 입력 데이터와 특징 간 상호정보량(MI) 최소화를 적용하여 최소 충분 정보를 강제로 구현함으로써 노이즈 감소와 강건성 향상을 도모한다.
• 얕은 층에서 깊은 층으로까지 문맥 역학을 유지하고 전파하기 위해 정체성 임베딩(IE)을 도입하여 장거리 의존성 모델링을 향상시킨다.
• MINE의 하한 추정과 CLUB의 상한 추정을 동시에 고려한 공동 최적화 목표함수를 설계하여 교차 모달 정렬과 노이즈 억제를 동시에 촉진한다.
• 다중 수준에서 다중모달 특징을 융합하는 통합 딥 네트워크 아키텍처에 제안된 구성 요소를 통합한다.
• 정보 흐름을 통해 효과적인 역전파를 가능하게 하기 위해 MI 추정에서 파생된 보조 손실을 활용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 모달 쌍 간 상호정보량 최대화가 다중모달 감성 분석에서 교차 모달 표현 정렬에 기여하는가?
• RQ2 입력과 특징 간 상호정보량 최소화가 재건 및 노이즈 정보를 걸러내어 모델의 강건성을 향상시키는가?
• RQ3 제안된 정체성 임베딩 메커니즘이 다중모달 대화의 순차적 발언 간 문맥 모델링을 효과적으로 향상시키는가?
• RQ4 상호정보량 최대화 및 최소화의 공동 최적화는 기하학적 또는 어텐션 기반 융합 전략에 비해 성능 및 효율성 측면에서 어떻게 비교되는가?
• RQ5 제안된 MMMIE 프레임워크가 다양한 다중모달 감성 분석 벤치마크에 얼마나 일반화되는가?

주요 결과

• 제안된 MMMIE 모델은 IEMOCAP 및 CMU-MOSEI 데이터셋 모두에서 최신 기준 성능을 달성하며, 기존 방법들을 초월한다.
• 제거 실험 결과, MI 최대화와 최소화를 병행 적용할 경우 모델의 강건성이 크게 향상되며, 최적화 목표함수에 통합된 후 하한 추정 곡선이 안정화됨을 확인할 수 있다.
• MI 최소화 도입으로 노이즈 영향이 뚜렷하게 감소함을 입증하였으며, 이는 입력과 특징 간 상호정보량이 감소하는 상한 추정 곡선을 통해 확인된다.
• 사례 연구 결과, 모달 불변 특징을 효과적으로 활용하여 최소 두 개의 모달에서 강한 신호를 제공할 경우 감정을 정확히 인식하는 것으로 나타났다.
• 모델는 때로 모호한 텍스트 신호에 과도하게 의존하여 잘못 분류하는 경우가 있으며, 이는 모달 균형 개선이 필요함을 시사한다.
• 정체성 임베딩은 감정 동역학이 시간이 지남에 따라 변화하는 시퀀스에서 특히 뛰어난 문맥 인식 능력을 향상시키며, 지연된 감정 표현을 보이는 샘플에서 이를 확인할 수 있다.