[논문 리뷰] Variational Mixture-of-Experts Autoencoders for Multi-Modal Deep Generative Models

Yuge Shi, N. Siddharth외 2명|arXiv (Cornell University)|2019. 11. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 91

한 줄 요약

MMVAE를 제안하는 다중모드 변분 자동인코더로, 혼합 전문가 포스트리에러를 사용해 모달리티 간을 공동 모델링하고 생성하며, 잠재 인자 분해, 일관된 결합 및 교차 생성, 모달리티별 학습 개선을 가능하게 한다. 이미지–이미지 및 이미지–언어 작업에서 PoE 기반 MVAE보다 우수하다.

ABSTRACT

Learning generative models that span multiple data modalities, such as vision and language, is often motivated by the desire to learn more useful, generalisable representations that faithfully capture common underlying factors between the modalities. In this work, we characterise successful learning of such models as the fulfillment of four criteria: i) implicit latent decomposition into shared and private subspaces, ii) coherent joint generation over all modalities, iii) coherent cross-generation across individual modalities, and iv) improved model learning for individual modalities through multi-modal integration. Here, we propose a mixture-of-experts multimodal variational autoencoder (MMVAE) to learn generative models on different sets of modalities, including a challenging image-language dataset, and demonstrate its ability to satisfy all four criteria, both qualitatively and quantitatively.

연구 동기 및 목표

• 잠재인자 분해를 공유/개인 서브스페이스로 나누고, 일관된 결합 생성, 일관된 교차 생성, 단일 모달 성능 향상 시너지를 정의한다.
• 모달리티 위에 혼합 전문가 변분 포스트리에오를 가진 MMVAE를 도입하여 다중 모달 표현을 학습한다.
• 이미지–이미지(MNIST–SVHN) 및 이미지–언어(CUB 캡션) 과제에서 MMVAE를 입증하고, 도전적인 이미지↔언어 변환을 포함한다.
• MMVAE를 PoE 기반 MVAE와 비교하고 잠재 구조 및 생성 일관성을 분석한다.

제안 방법

• 공동 생성 모델 p(z, x1:M) = p(z) ∏m p(xm|z)으로 변분 자동인코더 프레임워크를 사용한다.
• joint posterior q(z|x1:M)을 모달리티별 단일 모드 포스트리에로의 혼합으로 근사한다: q(z|x1:M) = Σm αm qφm(z|xm), 여기에 αm = 1/M.
• 다중 모달에 확장된 IWAE 스타일 경사를 사용하여 더 촘촘한 목적함수 LMoE-IWAE를 얻고 모달리티별 계층적 샘플링을 적용한다.
• 학습 시 MoE vs PoE 인자화 비교를 수행하고, 학습 중 모든 모달리티가 존재하는 설정에서 MoE가 더 나은 잠재 분해와 교차생성을 제공한다고 주장한다.
• 축 정렬 잠재 표현을 촉진하기 위해 Laplace 사전/사후를 제공하고, 최적화에는 Adam/AMSGrad를 사용한다.
• 교차 생성/coherence 및 잠재 공간 선형분리 가능성을 포함한 정성적 생성 및 정량적 지표를 평가한다.

실험 결과

연구 질문

• RQ1 혼합 전문가 변분 포스트리에로가 공유 정보와 개인 모달리티 정보를 분리하는 잠재 인자 분해를 가능하게 하는가?
• RQ2 MMVAE 모델은 모달리티 간 일관된 결합 생성과 모달리티 간 교차 생성을 일관되게 만들어내는가?
• RQ3 다중 모달 학습이 단일 모달 생성 성능을 오히려 향상시키는 시너지를 제공하는가?
• RQ4 교차 생성 일관성과 잠재 표현 품질 측면에서 MMVAE는 PoE 기반 MVAE에 비해 어떤 차이가 있는가?
• RQ5 단일 MMVAE 프레임워크 내에서 이미지↔언어 변환이 가능하고 일관된가?

주요 결과

• MMVAE는 MNIST/SVHN에서 숫자에 대한 더 구분 가능한 잠재 표현으로 단일 모달 VAE 및 PoE MVAE보다 더 나은 잠재 인자 분해를 달성한다.
• 결합 생성 일관성은 MMVAE가 MVAE보다 더 높은 모달 간 정렬성을 보이며, 교차 생성 코히어런스 지표가 더 높다.
• 교차 생성 결과 MMVAE가 모달리티 간 의미적으로 일관된 데이터를 생성할 수 있음을 보여준다(예: SVHN로 조건화된 MNIST 숫자, 그 반대도 가능).
• CUB에서 MMVAE는 결합 이미지-캡션 코히어런스를 제공하고, 교차 생성이 이미지 콘텐츠에 맞는 캡션을 생성하고 그 역도 가능하다.
• MVAE와 비교할 때, MMVAE는 CUB 및 MNIST–SVHN 과제에서 결합 생성 상관관계가 더 높아 다중 모달 통합 및 모달 간 정보 활용이 향상되었다.