[논문 리뷰] Joint Multimodal Learning with Deep Generative Models

Masahiro Suzuki, Kotaro Nakayama외 1명|arXiv (Cornell University)|2016. 11. 07.

Speech and dialogue systems인용 수 123

한 줄 요약

요약: 논문은 Joint Multimodal Variational Autoencoder (JMVAE)를 도입하여 다중 모달리티의 결합 분포를 모델링하고 양방향 생성을 가능하게 하며, 모달리티가 없을 때 잠재 붕괴를 방지하는 JMVAE-kl을 제시한다.

ABSTRACT

We investigate deep generative models that can exchange multiple modalities bi-directionally, e.g., generating images from corresponding texts and vice versa. Recently, some studies handle multiple modalities on deep generative models, such as variational autoencoders (VAEs). However, these models typically assume that modalities are forced to have a conditioned relation, i.e., we can only generate modalities in one direction. To achieve our objective, we should extract a joint representation that captures high-level concepts among all modalities and through which we can exchange them bi-directionally. As described herein, we propose a joint multimodal variational autoencoder (JMVAE), in which all modalities are independently conditioned on joint representation. In other words, it models a joint distribution of modalities. Furthermore, to be able to generate missing modalities from the remaining modalities properly, we develop an additional method, JMVAE-kl, that is trained by reducing the divergence between JMVAE's encoder and prepared networks of respective modalities. Our experiments show that our proposed method can obtain appropriate joint representation from multiple modalities and that it can generate and reconstruct them more properly than conventional VAEs. We further demonstrate that JMVAE can generate multiple modalities bi-directionally.

연구 동기 및 목표

• 다양한 모달리티(예: 이미지와 텍스트) 간의 고수준 개념을 포착하는 공동 표현 학습 동기를 부여한다.
• p(x, w)뿐만 아니라 p(x|w)나 p(w|x)만으로가 아니라 공동 분포를 모델링하여 모달리티를 양방향으로 교환할 수 있는 생성 모델을 개발한다.
• 생성 중 모달리티가 누락될 때 잠재 붕괴를 피하기 위한 메커니즘을 제안한다.
• 공동 표현이 다중 모달 데이터셋에서 생성 및 재구성 품질을 개선하는지 입증한다.

제안 방법

• 각 모달리티가 공유 잠재 변수 z에 독립적으로 조건화되어 p(x, w) = p(x|z)p(w|z)를 모델링하는 공동 다중 모달 VAE(JMVAE)를 정의한다.
• 로그 p(x, w)의 하한를 최대화하도록 변분 추정을 사용해 인코더와 디코더를 학습한다.
• JMVAE-kl은 단일 모달 인코더 q(z|x)와 q(z|w)를 다모달 인코더 q(z|x, w)와 정렬시키기 위해 KL-발산 기반 정규화( 매개변수)를 추가한다.
• 목표를 정보 변화(VI) 변동과 연결하여 양방향 교환을 정당화하고 학습을 VI 최소화로 해석한다.
• 두 개 이상의 모달리티로 확장하고 모달리티별 아키텍처(가우시안, 베르누이, CNN 기반 디코더 등)의 실용적 학습에 대해 논의한다.
• MNIST와 CelebA를 실험하고, 이미지 생성을 개선하기 위한 JMVAE-GAN 변형을 포함한다.

실험 결과

연구 질문

• RQ1 다중 모달리티에서 학습된 공동 잠재 표현이 각 모달리티의 정확한 생성과 재구성을 지원하는가?
• RQ2 공유 잠재 변수에 각 모달리티를 독립적으로 조건화하는 것이 모달리티 간 양방향 생성(x에서 w로, w에서 x로)을 조건부 VAE보다 더 잘 수행하는가?
• RQ3 테스트 시 하나 이상의 모달리티가 누락될 때 JMVAE-kl이 샘플 품질에 어떤 영향을 미치는가?
• RQ4 이미지와 이진 특성과 같이 매우 다른 차원과 구조를 가진 모달리티로 확장할 수 있는가?

주요 결과

• JMVAE는 MNIST와 CelebA에서 단일 모달리티 로그 우도보다 개선되거나 동등한 공동 표현을 추출할 수 있다.
• JMVAE는 모달리티 간 양방향 생성을 가능하게 하며, 속성에서 이미지를 생성하고 그 반대도 가능하다.
• JMVAE-kl 변형은 모달리티가 누락될 때 샘플 붕괴를 크게 완화하여 조건부 및 주변 로그 우도를 개선한다.
• CelebA에서 JMVAE와 GAN 강화 변형은 주변 및 조건부 로그 우도 면에서 경쟁 다중 모달 모델을 능가한다.
• 공동 다중 모달 학습은 단일 모달 baselines보다 속성 조건부 얼굴 생성과 같은 질적 결과가 더 우수하다.