[논문 리뷰] Conditional Image Generation by Conditioning Variational Auto-Encoders

William R. Harvey, Saeid Naderiparizi외 1명|arXiv (Cornell University)|2021. 02. 24.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 조건부 변동형 자동에코더(cVAEs)를 효율적으로 훈련하기 위한 방법을 제안한다. 기존의 무조건적 VAE를 사전학습된 기초 모델로 활용하여, 처음부터 비용이 많이 드는 훈련을 피한다. 조건부 입력을 잠재 공간의 코드로 매핑하는 경량 추론 기능만을 훈련함으로써, GAN 수준의 샘플 품질과 진짜 사후 분포의 커버리지에 도달한다. 특히 불확실성 표현이 충실한 확률적 이미지 복원에서 뛰어난 성능을 보이며, 모드 붕괴를 피한다.

ABSTRACT

We present a conditional variational auto-encoder (VAE) which, to avoid the substantial cost of training from scratch, uses an architecture and training objective capable of leveraging a foundation model in the form of a pretrained unconditional VAE. To train the conditional VAE, we only need to train an artifact to perform amortized inference over the unconditional VAE's latent variables given a conditioning input. We demonstrate our approach on tasks including image inpainting, for which it outperforms state-of-the-art GAN-based approaches at faithfully representing the inherent uncertainty. We conclude by describing a possible application of our inpainting model, in which it is used to perform Bayesian experimental design for the purpose of guiding a sensor.

연구 동기 및 목표

• 조건부 VAE의 장기적인 훈련 시간 문제를 해결하기 위해 사전학습된 무조건적 VAE를 재사용하는 것.
• 전체 모델을 다시 훈련하지 않고도 cVAEs를 효율적으로 피지테이닝할 수 있도록 하는 것.
• 진짜 사후 불확실성 표현을 충실하게 반영하는 고품질이고 다양한 이미지 보완을 달성하는 것.
• 특히 확률적 이미지 복원에서 GAN 기반 접근법에 비해 모드 다양성을 더 잘 포괄함을 입증하는 것.
• 베이지안 실험 설계와 같은 후행 응용 분야에서 전체 사후 분포 커버리지가 필요한 경우를 지원하는 것.

제안 방법

• 기존의 무조건적 VAE를 고정된 디코더와 사전 분포로 사용하며, 파라미터를 동결한다.
• 조건부 입력(예: 마스크된 이미지)을 VAE의 잠재 공간에 대한 사후 분포 근사값으로 매핑하는 새로운 추론 네트워크(‘기능’)를 훈련한다.
• 표준 VAE 목표 함수를 사용하여 조건부 데이터 분포에 대해 ELBO를 최대화함으로써 모델을 훈련한다.
• 추론 기능은 암시적 추론을 수행하여 생성 시 빠르고 확장 가능한 샘플링을 가능하게 한다.
• 이 방법은 전이 학습을 지원한다: 하나의 사전학습된 VAE는 여러 조건부 작업(예: 이미지 복원, 색상화)에 적응할 수 있다.
• 이 방법은 질량 커버리지 KL 발산을 최소화함으로써, GAN보다 더 나은 사후 분포 커버리지 달성함을 입증함.

실험 결과

연구 질문

• RQ1 사전학습된 무조건적 VAE가 추가 훈련을 최소화하면서도 조건부 이미지 생성에 효과적으로 재사용될 수 있는가?
• RQ2 제안된 방법이 이미지 복원 분야에서 최첨단 GAN 기반 접근법과 비교해 경쟁 가능한 샘플 품질과 다양성을 달성하는가?
• RQ3 모델이 이미지 보완에서 불확실성을 충실하게 표현할 수 있는가? 특히 GAN에서 흔한 모드 붕괴를 피하는가?
• RQ4 이 방법이 하나의 기초 VAE를 사용해 다양한 조건부 이미지 생성 작업 간에 확장 가능하고 이식 가능한가?
• RQ5 이 모델은 사후 분포 커버리지가 필수적인 응용 분야, 예를 들어 센서 가이던스를 위한 베이지안 실험 설계에서 효과적으로 사용될 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-10, ImageNet-64, FFHQ-256에서 최첨단 GAN인 CoModGAN과 비교해 유사한 이미지 보완 품질을 달성한다.
• GAN과 달리 모드 붕괴를 피한다: 검토한 20개의 테스트 이미지 중 CoModGAN은 5개에서 모드 붕괴를 보였지만, IPA는 일관되게 다양한 보완 결과를 생성했다.
• 진짜 사후 분포 커버리지가 뛰어나며, 불확실성 하에서 더 다양하고 현실적인 보완 결과로 입증된다.
• 사전학습된 VAE를 사용함으로써 cVAE를 처음부터 훈련하는 것보다 훈련 시간을 크게 단축시키면서도 높은 샘플 품질을 유지한다.
• 이 방법은 데이터셋 간 일반화에 효과적이다: ImageNet에서 사전학습된 VAE는 FFHQ와 CIFAR-10 등의 사진 데이터셋에서 고품질의 이미지 복원을 가능하게 했다.
• 베이지안 실험 설계에서 효과적이다. 정확한 사후 표현은 최적의 센서 가이던스에 필수적이다.