[논문 리뷰] MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders

Xuezhe Ma, Chunting Zhou외 1명|arXiv (Cornell University)|2019. 01. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 13

한 줄 요약

이 논문은 변분 오토에인코더(VAEs)의 KL 소실 문제를 완화하기 위해 상호 사후분포-산란 정규화(MAE)를 제안한다. 이는 잠재 공간 기하학의 의미 있는 구조를 유도하기 위해 서로 다른 데이터 포인트의 사후분포 간 상호 산란 최소화를 통해 실현된다. 이 방법은 강력한 디코더를 갖춘 VAE가 이미지 벤치마크에서 밀도 추정 및 표현 학습 모두에서 최신 기술 수준의 성능을 달성할 수 있도록 한다.

ABSTRACT

Variational Autoencoder (VAE), a simple and effective deep generative model, has led to a number of impressive empirical successes and spawned many advanced variants and theoretical investigations. However, recent studies demonstrate that, when equipped with expressive generative distributions (aka. decoders), VAE suffers from learning uninformative latent representations with the observation called KL Varnishing, in which case VAE collapses into an unconditional generative model. In this work, we introduce mutual posterior-divergence regularization, a novel regularization that is able to control the geometry of the latent space to accomplish meaningful representation learning, while achieving comparable or superior capability of density estimation. Experiments on three image benchmark datasets demonstrate that, when equipped with powerful decoders, our model performs well both on density estimation and representation learning.

연구 동기 및 목표

• 강력한 디코더를 사용할 경우 잠재 표현이 정보가 없어지는 VAE의 KL 소실 문제를 해결하기 위해.
• 밀도 추정 성능을 희생시키지 않으면서도 학습된 잠재 표현의 품질을 향상시키기 위해.
• 의미 있는 분리 가능성과 다양성을 유도하는 새로운 정규화 메커니즘을 통해 잠재 공간의 기하학을 제어하기 위해.
• 표현력 있는 생성 모델을 갖춘 VAE가 강력한 생성 및 분리 가능성 표현 능력을 유지할 수 있도록 하기 위해.
• 기존 VAE 정규화 기법들에 비해 이론적으로 타당하고 경험적으로 효과적인 대안을 제공하기 위해.

제안 방법

• 다른 데이터 포인트의 사후분포 간 쿨백-라이블러(KL) 산란을 최소화함으로써 상호 사후분포-산란 정규화를 도입한다.
• 각 데이터 포인트가 사후분포로 인코딩되는 이중 인코딩 전략을 사용하며, 이러한 사후분포 간 산란을 최소화한다.
• 잠재 공간 내에서 다양성과 산포를 장려하는 대칭 정규화 항을 통합하여 사후분포 붕괴를 방지한다.
• 표준 VAE 목적함수를 유지하면서도 잠재 공간 기하학에 작용하는 새로운 정규화 항을 추가한다.
• 유사한 대조 기반 메커니즘을 활용하여 서로 다른 데이터 포인트가 구별 가능한 잠재 코드를 갖도록 유도한다.
• 모든 VAE 아키텍처와 호환되며, 아키텍처 수정이나 표준 VAE를 초월한 추가 하이퍼파rameter가 필요하지 않다.

실험 결과

연구 질문

• RQ1 강력한 디코더를 갖춘 VAE에서 상호 사후분포-산란 정규화가 사후분포 붕괴를 효과적으로 방지할 수 있는가?
• RQ2 제안된 정규화 기법이 분리 가능하고 의미 있는 잠재 표현의 품질을 향상시키는가?
• RQ3 기존 표준 VAE 및 다른 최신 기술 대비 밀도 추정 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 이 정규화 기법이 학습된 잠재 공간의 기하학적 구조에 어떤 영향을 미치는가?
• RQ5 이 방법은 다양한 이미지 데이터셋과 디코더 아키텍처에 대해 강건한가?

주요 결과

• 제안된 MAE 방법은 세 가지 이미지 벤치마크 데이터셋에서 밀도 추정 및 표현 학습 모두에서 최신 기술 수준의 성능을 달성한다.
• MNIST, EMNIST 및 CelebA 데이터셋에서 MAE는 테스트 로그우도와 후행 표현 품질 측면에서 베이스라인 VAE 및 다른 최신 기술 기법들을 능가한다.
• 깊고 표현력 있는 디코더를 사용할 경우에도 KL 소실을 성공적으로 방지하여 정보가 풍부한 잠재 코드를 유지한다.
• 정성적 분석 결과, 표준 VAE에 비해 학습된 잠재 공간이 더 우수한 분리 가능성과 더 부드러운 보간을 보인다.
• 아키텍처 수정 없이도 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 보이며, 아키텍처 수정 없이도 성능 향상을 유지한다.
• 제거 실험 결과, 상호 사후분포-산란 정규화가 성능 향상의 핵심 요소임을 확인하였으며, 단순히 가중치 감쇠나 다른 정규화 기법이 아닌 것으로 밝혀졌다.