[논문 리뷰] Learning Factorized Multimodal Representations

Yao-Hung Hubert Tsai, Paul Pu Liang외 3명|arXiv (Cornell University)|2018. 06. 16.

Sentiment Analysis and Opinion Mining참고 문헌 74인용 수 197

한 줄 요약

본 논문은 Multimodal Factorization Model (MFM)을 제시한다. 이는 표현을 다중모달 판별 요인과 모달리티-특정 생성 요인으로 요인화하고, 예측을 향상시키고 누락 모달리티 재구성을 가능하게 하는 공동 생성-판별 목표를 최적화한다.

ABSTRACT

Learning multimodal representations is a fundamentally complex research problem due to the presence of multiple heterogeneous sources of information. Although the presence of multiple modalities provides additional valuable information, there are two key challenges to address when learning from multimodal data: 1) models must learn the complex intra-modal and cross-modal interactions for prediction and 2) models must be robust to unexpected missing or noisy modalities during testing. In this paper, we propose to optimize for a joint generative-discriminative objective across multimodal data and labels. We introduce a model that factorizes representations into two sets of independent factors: multimodal discriminative and modality-specific generative factors. Multimodal discriminative factors are shared across all modalities and contain joint multimodal features required for discriminative tasks such as sentiment prediction. Modality-specific generative factors are unique for each modality and contain the information required for generating data. Experimental results show that our model is able to learn meaningful multimodal representations that achieve state-of-the-art or competitive performance on six multimodal datasets. Our model demonstrates flexible generative capabilities by conditioning on independent factors and can reconstruct missing modalities without significantly impacting performance. Lastly, we interpret our factorized representations to understand the interactions that influence multimodal learning.

연구 동기 및 목표

• prediction을 위한 풍부한 intra- 및 cross-modal 표현 학습의 도전 과제 해결.
• 테스트 시 모달리티가 누락되거나 노이즈가 있는 경우에도 로버스트하게 유지되는 모델 개발.
• 표현을 공유 다중모달 판별 요인과 모달리티-특정 생성 요인으로 요인화.
• 독립적인 잠재 요인에 조건부로 유연한 생성 및 재구성을 가능하게 함.
• 학습된 요인화 표현의 해석 가능성 제공.

제안 방법

• 잠재 변수 Z = [Z_y, Z_a1,...,Z_aM]를 가지는 다중모달 요인화 모델(MFM)을 제안하고, 판별 요인 F_y와 모달리티-특정 생성 요인 F_a{1:M}를 생성.
• 요인화는 P(X_hat_{1:M}, Y_hat) = ∫ P(X_hat_{1:M}, Y_hat | F) P(F | Z) P(Z) dF dZ로 표현을 얻고, F_y 및 F_a에 따라 달라진다.
• P(X_{1:M}, Y)와 P(X_hat_{1:M}, Y_hat)를 정렬하기 위한 공동-분포 Wasserstein 거리 목표를 사용하고, 일반화된 평균-field 추정 Q(Z | X_{1:M}, Y})를 통해 근사한다.
• 관측된 모달리티를 기반으로 누락된 모달리티를 재구성하고 레이블을 예측하기 위한 대리 추론 네트워크를 채택한다.
• 재구성 및 예측을 위한 인코더 Q(Z_y | X_{1:M}) 및 Q(Z_a_i | X_i), 디코더 G_y, G_a_i, D, 및 F_•를 사용한다.
• 생성적 재구성 손실(생성)과 레이블 예측 손실(판별)을 결합한 하이브리드 목표를 사용해 학습한다.
• 다양한 다중모달 인코더(MFN, EF-LSTM, TFN 등)와의 통합을 통해 모델-독립적 적용 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 다중모달 표현을 공유 판별 요인과 모달리티-특정 생성 요인으로 요인화하는 것이 데이터셋 전반에서 판별 성능을 향상시킬 수 있는가?
• RQ2 테스트 시 일부 모달리티가 누락되었을 때 재구성 및 예측이 견고하게 가능한가?
• RQ3 잠재 요인이 다중모달 상호작용 및 각 모달리티의 기여에 대해 해석 가능한 통찰을 제공하는 정도는 얼마나 되는가?
• RQ4 다양한 다중모달 인코더 및 시계열 모달리티와의 호환성은 어떠한가?
• RQ5 요인화 및 생성/판별 구성요소의 제거가 성능에 어떤 영향을 미치는가?

주요 결과

• MFM은 여섯 개의 다중모달 데이터셋(시계열 및 합성 이미지 데이터)에서 최첨단 또는 경쟁력 있는 결과를 달성한다.
• 다중모달 판별 요인과 모달리티-특정 생성 요인으로 요인화하면 재구성과 예측 모두에서 기준선보다 향상된다.
• 일부 모달리티 누락에서도 예측 성능의 손실이 적으며 재구성에서 순수 생성적 또는 순수 판별적 기준선보다 우수한 성능을 보인다.
• 생성 재구성과 판별 예측을 결합한 하이브리드 목표가 순수하게 생성적이거나 순수하게 판별적인 변형보다 더 나은 결과를 낳는다.
• 변형 연구는 각 구성요소의 이점이 있음을 시사하고, 모달리티-특정 생성 요인과 요인화된 표현이 가장 큰 이점을 제공한다.
• 해석 방법들(정보 이론적 및 그래디언트 기반)은 CMU-MOSI에서 언어가 감정 예측의 주요 기여요인임을 드러내고 생성된 출력에 대한 요인 영향력을 시연한다.