[논문 리뷰] Multimodal Generative Models for Compositional Representation Learning

Mike Wu, Noah D. Goodman|arXiv (Cornell University)|2019. 12. 11.

Multimodal Machine Learning Applications참고 문헌 74인용 수 5

한 줄 요약

이 논문은 공동 가능도에 대한 공식적으로 타당한 변분 하한을 사용하는 새로운 다중모态 생성 모델 가족을 소개한다. 이는 이전의 다중모달 VAE가 극도로 모수나 조건부 밀도에 집중하는 결함을 수정한다. 이 방법은 다양한 모달리티 간에 VAE, GAN, 노멀라이징 플로우를 통합하여, 공동 밀도 추정 및 후속 조합 작업에서 뛰어난 성능을 달성한다. 특히 약한 감독 및 모달리티 누락 설정에서 뛰어난 성능을 보이며, 언어를 통한 훈련 시 더 추상적이고 조합적인 시각적 표현을 학습한다.

ABSTRACT

As deep neural networks become more adept at traditional tasks, many of the most exciting new challenges concern multimodality---observations that combine diverse types, such as image and text. In this paper, we introduce a family of multimodal deep generative models derived from variational bounds on the evidence (data marginal likelihood). As part of our derivation we find that many previous multimodal variational autoencoders used objectives that do not correctly bound the joint marginal likelihood across modalities. We further generalize our objective to work with several types of deep generative model (VAE, GAN, and flow-based), and allow use of different model types for different modalities. We benchmark our models across many image, label, and text datasets, and find that our multimodal VAEs excel with and without weak supervision. Additional improvements come from use of GAN image models with VAE language models. Finally, we investigate the effect of language on learned image representations through a variety of downstream tasks, such as compositionally, bounding box prediction, and visual relation prediction. We find evidence that these image representations are more abstract and compositional than equivalent representations learned from only visual data.

연구 동기 및 목표

• 기존 다중모달 VAE에서 공식적으로 타당한 변분 하한이 부족하여 극도로 모수나 조건부 밀도에 집중하는 문제를 해결한다.
• 다양한 생성 모델(예: VAE, GAN, 플로우)을 서로 다른 모달리티에 적용할 수 있도록 하는 통합 목적 함수를 개발하여, 이미지와 텍스트와 같은 복잡한 데이터의 하이브리드 모델링을 가능하게 한다.
• 실제 다중모달 데이터 수집에서 흔한 약한 감독 및 모달리티 누락 조건에서의 성능을 평가한다.
• 언어 지도 하에 학습된 시각적 표현이 비시각적 표현보다 더 조합적인가, 더 일반화 가능한가를 조사한다.
• 다중모달로 학습된 특징을 사용하여 객체 검출 및 시각적 관계 예측과 같은 후속 작업에서 성능 향상을 입증한다.

제안 방법

• 기존 다중모달 VAE에서 잘못된 목적 함수를 수정하기 위해 공동 모수 가능도 $\log p_\theta(\mathbf{x}, \mathbf{y})$ 에 대한 새로운 변분 하한을 유도한다.
• 공동 변분 산란 분해를 도입하여 모수 및 조건부 성분을 분리함으로써 공동 밀도에 대한 타당한 하한을 보장한다.
• 다른 모달리티에 대해 서로 다른 생성 모델 유형(VAE, GAN, 플로우)을 허용함으로써 하이브리드 모델링을 가능하게 한다. 예를 들어, 텍스트에는 VAE, 이미지에는 GAN/플로우를 사용한다.
• 단일 모달리티 사후분포를 곱의 가우시안으로 조합한 공동 사후분포 $q_\phi(\mathbf{z}|\mathbf{x}, \mathbf{y})$ 를 사용하여 변분 추론의 일관성을 유지한다.
• VAE-VAE 및 VAE-GAN과 같은 모델을 훈련하기 위해 목적 함수를 적용하며, GAN은 고해상도 이미지 생성에, VAE는 이산 텍스트 모델링에 활용한다.
• 작은 쌍화된 데이터셋으로 훈련하면서도 큰 비쌍화된 데이터셋을 활용하여 일반화 능력과 모달리티 누락에 대한 강건성을 향상시키는 약한 감독을 적용한다.

실험 결과

연구 질문

• RQ1 공식적으로 타당한 공동 가능도에 대한 변분 하한은 이전의 다중모달 VAE보다 다중모달 표현 학습에 더 나은 성능을 보이는가?
• RQ2 다른 생성 모델 가족(VAE, GAN, 플로우)을 서로 다른 모달리티에 통합하면, 실제 세계의 복잡한 데이터셋에서 성능 향상이 이루어지는가?
• RQ3 약한 감독 및 모달리티 누락 조건에서 다중모달 생성 모델은 어떻게 성능을 발휘하는가?
• RQ4 언어 지도 하에 학습된 시각적 표현은 비시각적 표현보다 더 강한 조합적 구조를 가지는가?
• RQ5 다중모달 표현은 객체 검출 및 시각적 관계 예측과 같은 후속 작업에서 얼마나 향상되는가?

주요 결과

• 제안된 다중모달 VAE는 공동 가능도 추정 및 교차 모달리티 번역에서 이전 방법보다 뛰어난 성능을 보이며, 특히 약한 감독 및 모달리티 누락 조건에서 두각을 나타낸다.
• 언어에는 VAE, 이미지에는 GAN을 사용하는 VAE-GAN 모델은 샘플 품질 향상과 표현 학습에서 뚜렷한 개선을 이룬다.
• 언어와 함께 공히 학습된 시각적 표현은 더 강한 조합적 구조를 보이며, 객체 검출 및 시각적 관계 예측 작업에서 더 나은 성능을 발휘한다.
• 높은 수준의 데이터 누락 조건에서도 강력한 성능을 유지하여, 불완전한 모달리티에 대한 강건성을 입증한다.
• 기존 방법들인 MVAE 및 JMVAE와 달리, 새로운 목적 함수는 공동 모수 가능도를 정확히 하한으로 둔다. 이는 이전 방법들이 모수에 과도하게 집중하거나 공동 밀도를 바르게 하한으로 둔 바가 없기 때문이다.
• 이미지, 텍스트, 레이블 데이터셋에 대한 실증 결과는, 제안된 목적 함수로 훈련된 다중모달 생성 모델이 더 추상적이고 일반화 가능한 표현을 생성함을 확인한다.