[논문 리뷰] Adversarial Symmetric Variational Autoencoder

Yunchen Pu, Weiyao Wang외 5명|ArXiv.org|2017. 11. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 36

한 줄 요약

이 논문은 재구성과 생성을 동시에 최적화하는 대안적 대칭 변분 오토에인드어(AS-VAE)를 제안한다. 이는 데이터와 코드의 결합 분포에 대해 인코더와 디코더에서 유도된 분포 간의 대칭 쿨백-라이블러 발산을 최소화하고, 근사적인 로그우도를 최대화함으로써 이루어진다. 이 방법은 MNIST, CIFAR-10, ImageNet 데이터셋에서 데이터 재구성 및 이미지 생성 측면에서 최신 기준을 달성하며, 이전 모델보다 더 높은 샘플 품질과 더 빠른 추론 속도를 확보한다.

ABSTRACT

A new form of variational autoencoder (VAE) is developed, in which the joint distribution of data and codes is considered in two (symmetric) forms: ($i$) from observed data fed through the encoder to yield codes, and ($ii$) from latent codes drawn from a simple prior and propagated through the decoder to manifest data. Lower bounds are learned for marginal log-likelihood fits observed data and latent codes. When learning with the variational bound, one seeks to minimize the symmetric Kullback-Leibler divergence of joint density functions from ($i$) and ($ii$), while simultaneously seeking to maximize the two marginal log-likelihoods. To facilitate learning, a new form of adversarial training is developed. An extensive set of experiments is performed, in which we demonstrate state-of-the-art data reconstruction and generation on several image benchmark datasets.

연구 동기 및 목표

• 고해상도 데이터 재구성과 현실적인 이미지 생성을 동시에 가능하게 하는 딥 생성 모델을 개발함으로써, 독립적인 VAE와 GAN의 한계를 극복한다.
• GAN의 역행성 추론 부족 문제를 해결하기 위해 인코더를 디코더와 통합함으로써 사후 분포 추론과 로그우도 측정을 가능하게 한다.
• 기존 VAE의 흐린 생성 및 열악한 재구성 성능 문제를 해결하기 위해, 데이터와 코드의 우도를 함께 최적화하는 대칭 변분 하한을 도입한다.
• 대칭 KL 발산 프레임워크 내에서 적대적 학습을 활용하여 훈련 안정성과 성능을 향상시키고, 데이터-코드 결합 분포를 공동으로 최적화한다.
• ImageNet과 같은 대규모 데이터셋에 대해도 고품질 샘플과 효율적인 추론을 유지하면서 모델을 스케일링한다.

제안 방법

• 모델은 관측된 데이터와 잠재 코드의 기대 로그우도를 함께 최적화함으로써 균형 잡힌 학습을 보장하는 대칭 변분 하한을 도입한다.
• 인코더와 디코더가 유도한 데이터와 코드의 결합 분포 간 대칭 쿨백-라이블러 발산을 최소화함으로써, 양방향에서의 일관성을 증진시킨다.
• 새로운 적대적 훈련 기법이 개발되어 대칭 KL 발산을 추정하고, 생성 샘플 및 재구성 품질을 향상시킨다.
• 스토하스틱 인코더 $ q_\phi(\mathbf{z}|\mathbf{x}) $ 와 스토하스틱 디코더 $ p_\theta(\mathbf{x}|\mathbf{z}) $ 를 사용하며, 모두 딥 신경망으로 구현된다.
• 모델은 GAN 스타일의 목표 함수를 사용해 생성자(디코더)와 판별기를 동시에 훈련하지만, 데이터와 코드를 상호 보완적인 대상으로 간주하는 대칭 목표를 적용한다.
• 모델는 데이터의 근사 로그우도를 최대화하고 대칭 KL 발산을 최소화하는 복합 목표 함수를 사용해 엔드 투 엔드로 훈련되며, 이로써 충실한 재구성과 현실적인 생성이 가능해진다.

실험 결과

연구 질문

• RQ1 데이터와 코드의 우도를 함께 최적화하는 대칭 변분 하한을 구성할 수 있는가? 이는 재구성과 생성 성능 향상에 기여하는가?
• RQ2 적대적 훈련을 인코더와 디코더에서 도출된 데이터와 코드의 결합 분포 간 대칭 KL 발산 최소화에 적응시킬 수 있는가?
• RQ3 제안된 AS-VAE는 MNIST, CIFAR-10, ImageNet과 같은 다양한 벤치마크에서 이미지 재구성과 생성 측면에서 최신 기준 성능을 달성하는가?
• RQ4 AS-VAE는 음의 로그우도, 인ception 스코어, 재구성 오차 측면에서 기존 모델과 비교해 어떻게 성능을 내는가?
• RQ5 ImageNet과 같은 대규모 데이터셋에 대해 효과적으로 스케일링될 수 있는가? 이때도 고품질 샘플과 효율적인 추론을 유지하는가?

주요 결과

• MNIST에서 AS-VAE는 음의 로그우도 82.51 nats를 기록하여 노멀라이징 플로우(85.1 nats)를 능가하고 최신 기준 모델에 가까워졌다.
• AS-VAE-r는 81.14 nats를 기록하여 최신 기준(79.2 nats)과 경쟁 가능하며, 강력한 재구성 능력을 입증했다.
• CIFAR-10에서 AS-VAE는 ALI보다 낮은 재구성 오차(RMSE)를 기록했고, 경쟁 수준의 NLL 성능도 확보했으며, 다른 적대적 훈련 모델보다 생성 품질에서 뛰어난 성능을 보였다.
• ImageNet에서 AS-VAE는 모드 붕괴 없이 선명하고 고품질의 이미지를 생성했으며, DCGAN과 PixelCNN++보다 샘플 품질에서 뛰어났고, 단일 GPU에서 1장당 0.01초의 추론 시간을 기록했다.
• CIFAR-10에서 AS-VAE는 1에포크당 52.0초(시간당 4시간)의 훈련 시간을 기록했으며, 이는 PixelCNN++의 44시간 대비 상당히 빠른 편이었다.
• 정성적 결과 분석에서 AS-VAE는 적대적 훈련에도 불구하고 열악한 재구성 정확도를 보이는 ALI보다 더 충실한 재구성을 생성하는 것으로 나타났다.