[논문 리뷰] Improving Bi-directional Generation between Different Modalities with Variational Autoencoders

Masahiro Suzuki, Kotaro Nakayama외 1명|arXiv (Cornell University)|2018. 01. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 3

한 줄 요약

이 논문은 고차원 모odal(예: 이미지)을 입력이 누락된 상태에서 생성할 때 잠재공간 붕괴를 방지함으로써 고차원과 저차원 모달 간 이방향 생성을 향상시키는 두 가지 변종인 JMVAE-kl과 JMVAE-h를 제안한다. 이 모델들은 단방향 VAE와 비교해 우수하거나 유사한 우도를 달성하며, 분리된 공동 표현을 통해 제어 가능한 생성을 가능하게 한다.

ABSTRACT

We investigate deep generative models that can exchange multiple modalities bi-directionally, e.g., generating images from corresponding texts and vice versa. A major approach to achieve this objective is to train a model that integrates all the information of different modalities into a joint representation and then to generate one modality from the corresponding other modality via this joint representation. We simply applied this approach to variational autoencoders (VAEs), which we call a joint multimodal variational autoencoder (JMVAE). However, we found that when this model attempts to generate a large dimensional modality missing at the input, the joint representation collapses and this modality cannot be generated successfully. Furthermore, we confirmed that this difficulty cannot be resolved even using a known solution. Therefore, in this study, we propose two models to prevent this difficulty: JMVAE-kl and JMVAE-h. Results of our experiments demonstrate that these methods can prevent the difficulty above and that they generate modalities bi-directionally with equal or higher likelihood than conventional VAE methods, which generate in only one direction. Moreover, we confirm that these methods can obtain the joint representation appropriately, so that they can generate various variations of modality by moving over the joint representation or changing the value of another modality.

연구 동기 및 목표

• 표준 공동 다중모달 VAE(JMVAE)가 입력이 누락된 상태에서 고차원 모달(예: 이미지)을 생성하는 데 실패하는 문제를 해결하기 위해.
• 기존 해결책의 한계를 극복하기 위해, 특히 누락된 모달이 고차원일 경우 실패하는 반복적 샘플링 기법의 문제를 해결하기 위해.
• 신뢰할 수 있는 이방향 생성을 위해 다양한 모달 간에 안정적이고 분리된 공동 표현을 유지하는 모델을 설계하기 위해.
• 제안된 모델이 단방향 VAE와 비교해 우도가 높거나 동일하며, 잠재공간 조작을 통한 제어 가능한 생성을 가능하게 함을 입증하기 위해.

제안 방법

• JMVAE-kl은 각 모달에 대해 별도의 인코더를 도입하고, 잠재 표현 간의 KL 발산을 최소화하여 공동 표현 학습의 안정성을 높인다.
• JMVAE-h는 잠재공간에 계층적 확률적 구조를 도입하여 표현 능력과 모드 간 분리도를 높임으로써 붕괴를 방지한다.
• 두 모델 모두 표준 VAE 프레임워크를 확장하여 모달 간에 잠재변수를 공유하면서도 모달 전용 추론 경로를 유지한다.
• 모델들은 변분 추론을 사용하여 공동 우도의 하한을 최적화하며, backpropagation를 통한 엔드 투 엔드 학습이 가능하다.
• 이미지 품질 향상을 위해 JMVAE-kl은 GAN과 결합되며, VAE의 생성 모델을 GAN의 생성기로 사용하고 VAE 하한을 함께 최적화한다.
• 잠재공간 조작은 잠재 코드의 보간 또는 수정을 통해 이루어지며, 속성 조건에 따라 이미지 변형을 제어 가능한 방식으로 생성할 수 있다.

실험 결과

연구 질문

• RQ1 입력이 누락된 상태에서 공동 다중모달 VAE(JMVAE)가 고차원 모달(예: 이미지)을 성공적으로 생성할 수 있는가?
• RQ2 반복적 샘플링 방법은 고차원 모달이 누락된 상황에서 잠재공간 붕괴 문제를 효과적으로 해결하는가?
• RQ3 JMVAE-kl과 JMVAE-h는 잠재공간 붕괴를 방지하고 양방향에서 고품질의 생성을 유지할 수 있는가?
• RQ4 제안된 모델은 다양한 모달 간에 분리된, 제어 가능한 생성을 지원하는 공동 표현을 학습하는가?
• RQ5 잠재공간 표현을 활용하여 잠재코드나 속성 조작을 통해 다양한 이미지 변형을 생성할 수 있는가?

주요 결과

• JMVAE-kl과 JMVAE-h는 표준 JMVAE에 비해 특히 CelebA 데이터셋에서 속성 입력으로부터 이미지 생성에 있어 조건부 로그우도를 크게 향상시킨다.
• JMVAE-kl은 단 한 번의 샘플링 스텝만으로도 높은 정확도로 속성 조건에 맞는 얼굴 이미지를 성공적으로 생성하지만, 표준 JMVAE는 완전히 실패한다.
• JMVAE-h는 샘플링 스텝 수를 늘림으로써 표준 JMVAE에 비해 이미지 품질을 향상시키지만, 모드 혼합 문제로 인해 속성 정렬이 떨어진다.
• JMVAE-kl이 학습한 공동 표현은 다양체 학습을 가능하게 하며, 속성별로 그룹화된 이미지들이 평균 얼굴이 중심에 오는 일관된 클러스터를 형성한다.
• 이방향 생성이 성공적으로 구현되었다: JMVAE-kl은 속성 정보 없이도 입력 이미지로부터 속성과 수정된 이미지를 모두 생성할 수 있다.
• 모델들은 단방향 VAE와 비교해 우도가 동일하거나 높아, 이방향 생성 작업에서의 효과성을 입증한다.