[논문 리뷰] Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion

Sijie Mai, Haifeng Hu외 1명|arXiv (Cornell University)|2019. 11. 18.

Human Pose and Action Recognition참고 문헌 42인용 수 19

한 줄 요약

이 논문은 다중모态 간의 분포 불일치로 인한 모달리티 갭을 줄이기 위해 적대적 훈련을 통해 모달리티에 관계없이 동일한 임베딩 공간을 학습하는 적대적 표현 그래프 융합(ARGF) 프레임워크를 제안한다. 이어서, 단모달, 이모달, 삼모달 상호작용을 명시적으로 모델링하는 계층적 그래프 융합 네트워크(GFN)를 적용한다. 제안된 방법은 IEMOCAP 및 CMU-MOSI 데이터셋에서 기존 방법 대비 각각 2% 이상, 1% 이상의 성능 향상을 기록하며 최고의 성능을 달성한다.

ABSTRACT

Learning joint embedding space for various modalities is of vital importance for multimodal fusion. Mainstream modality fusion approaches fail to achieve this goal, leaving a modality gap which heavily affects cross-modal fusion. In this paper, we propose a novel adversarial encoder-decoder-classifier framework to learn a modality-invariant embedding space. Since the distributions of various modalities vary in nature, to reduce the modality gap, we translate the distributions of source modalities into that of target modality via their respective encoders using adversarial training. Furthermore, we exert additional constraints on embedding space by introducing reconstruction loss and classification loss. Then we fuse the encoded representations using hierarchical graph neural network which explicitly explores unimodal, bimodal and trimodal interactions in multi-stage. Our method achieves state-of-the-art performance on multiple datasets. Visualization of the learned embeddings suggests that the joint embedding space learned by our method is discriminative. code is available at: \url{https://github.com/TmacMai/ARGF_multimodal_fusion}

연구 동기 및 목표

• 다중모달 융합에서 다양한 모달리티 간의 이질적인 분포로 인한 모달리티 갭을 해결하기 위해.
• 다중모달 간의 호환성과 표현의 분류 능력을 향상시키기 위해 공동의 모달리티에 관계없는 임베딩 공간을 학습하기 위해.
• 구조화된 그래프 융합 메커니즘을 통해 단모달, 이모달, 삼모달 상호작용을 명시적으로 모델링하기 위해.
• 적대적 분포 매칭, 재구성, 분류 손실을 통한 다중모달 융합 성능 향상하기 위해.

제안 방법

• 원천 모달리티의 분포를 타겟 모달리티의 분포와 일치시키기 위해 판별 훈련을 통해 적대적 인코더-디코더-분류기 프레임워크를 사용한다.
• 원천 모달리티의 인코더가 판별기를 속임으로써 그들의 표현을 실제(타겟 모달리티) 샘플로 분류하도록 하기 위해 적대적 훈련을 적용한다.
• 원본 입력 특징을 재구성하기 위해 모달리티별 디코더를 도입하여 임베딩 학습 중 단모달 정보를 유지한다.
• 학습된 임베딩 공간이 최종 작업에 대해 분류 가능하도록 보장하기 위해 분류기 헤드를 구현한다.
• 세 단계의 계층적 그래프 융합 네트워크(GFN)를 사용한다: 단모달, 이모달, 삼모달 정점으로 구성되어 있어 다중모달 동적 융합을 체계적으로 가능하게 한다.
• 그래프 간선에 학습 가능한 가중치를 할당하여 다양한 상호작용 유형에 대한 중요도를 동적으로 할당하고 해석 가능한 융합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 통해 이질적인 모달리티 분포를 일치시켜 모달리티 갭을 효과적으로 줄일 수 있는가?
• RQ2 재구성 및 분류 손실을 함께 사용한 공동 임베딩 학습이 다중모달 융합에서 표현 품질을 어떻게 향상시키는가?
• RQ3 계층적 그래프 융합 네트워크는 단모달, 이모달, 삼모달 상호작용을 명시적으로 모델링하고 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 다중모달 감성 분석 과제에서 기존 융합 전략을 초월하는가?
• RQ5 시각화를 통해 학습된 임베딩 공간이 얼마나 분류 가능하고 해석 가능한가?

주요 결과

• ARGF는 IEMOCAP 및 CMU-MOSI 데이터셋에서 기존 방법 대비 각각 2% 이상, 1% 이상의 정확도 향상을 기록하며 최고의 성능을 달성한다.
• 학습된 임베딩 공간의 시각화 결과에서 긍정 및 부정 감성에 대해 명확하고 잘 분리된 클러스터가 관찰되어 높은 분류 능력을 보여준다.
• 분류기 손실이 없는 임베딩 공간은 감성 클래스를 효과적으로 구분하지 못함을 보여주며, 분류 능력 향상을 위한 분류기 손실의 필요성을 입증한다.
• 그래프 융합 시각화 결과에서 언어 모달리티는 단모달 융합에서 가장 예측력이 높은 것으로 나타났지만, 언어가 모호할 경우 다른 모달리티가 우세해짐을 확인하였다.
• 이모달 융합에서는 청각-언어 및 시각-언어 상호작용에 높은 가중치가 할당되어 감성 예측에 강력한 기여를 한다는 점을 보여준다.
• 삼모달 융합는 주로 두 개의 이모달 정점 간 융합에 의해 지배되며, 이는 DFG가 포착하지 못한 이모달 상호작용 쌍의 중요성을 강조한다.