[논문 리뷰] Preventing Posterior Collapse with delta-VAEs

Ali Razavi, Aäron van den Oord외 2명|arXiv (Cornell University)|2019. 01. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 13

한 줄 요약

이 논문은 변분 오토인코더에서 사전 분포와 근사 사후 분포 간 최소 KL 발산(δ)을 강제로 유지함으로써 사후 붕괴를 방지하는 δ-VAEs를 소개한다. 이는 ELBO 목적함수를 수정하지 않고도 강력한 자기회귀적 디코더를 사용할 수 있도록 하며, CIFAR-10과 ImageNet 32×32에서 최고 수준의 로그우도를 달성하면서 의미 있는 분리된 표현을 학습한다.

ABSTRACT

Due to the phenomenon of "posterior collapse," current latent variable generative models pose a challenging design choice that either weakens the capacity of the decoder or requires augmenting the objective so it does not only maximize the likelihood of the data. In this paper, we propose an alternative that utilizes the most powerful generative models as decoders, whilst optimising the variational lower bound all while ensuring that the latent variables preserve and encode useful information. Our proposed $δ$-VAEs achieve this by constraining the variational family for the posterior to have a minimum distance to the prior. For sequential latent variable models, our approach resembles the classic representation learning approach of slow feature analysis. We demonstrate the efficacy of our approach at modeling text on LM1B and modeling images: learning representations, improving sample quality, and achieving state of the art log-likelihood on CIFAR-10 and ImageNet $32 imes 32$.

연구 동기 및 목표

• 강력한 디코더가 존재함에도 불구하고 잠재 변수가 정보를 담지 못하는 문제인 VAE의 사후 붕괴를 해결하기 위함.
• 잠재 변수가 유용한 정보를 담고 있도록 하면서도 표준 ELBO 학습 목적함수를 유지하기 위함.
• 모델 용량을 약화시키거나 목적함수를 수정하지 않고도 최신 자기회귀적 디코더를 VAE에 통합하기 위함.
• 밀도 모델링 성능을 희생시키지 않고도 후속 작업을 위한 분리 가능하고 의미 있는 표현을 학습하기 위함.

제안 방법

• 변분 사후 q(z|x)와 사전 p(z) 사이에 최소 KL 발산 δ를 강제로 유지함으로써 사후가 사전으로 붕괴되지 않도록 보장한다.
• D_KL(q(z|x) || p(z)) ≥ δ 조건을 만족시키는 조건부 최적화 또는 매개변수화된 가족을 사용하여 ELBO 최소화 목적함수를 설정한다.
• 시간적 의존성을 모델링하기 위해 순차적인 잠재 변수 구조와 반인과적 인코더를 사용하며, 느린 특징 분석과 유사하다.
• 구조화된 잠재 시퀀스를 모델링하고 제어 가능한 생성을 가능하게 하기 위해 자기회귀적 사전(예: AR(1) 또는 보조 사전)을 사용한다.
• 최소 δ를 학습 중에 보장하기 위해 매개변수화된 가족(예: 고정 분산 정규분포)을 통해 제약 조건을 구현한다.
• 표준 ELBO를 공동 최적화함으로써 이미지 및 텍스트 생성에 이 프레임워크를 적용하고, 강력한 자기회귀적 디코더를 사용한다.

실험 결과

연구 질문

• RQ1 ELBO 목적함수를 수정하거나 디코더의 성능를 약화시키지 않고도 VAE에서 사후 붕괴를 방지할 수 있는가?
• RQ2 사후와 사전 간 최소 KL 발산을 강제로 유지하면 더 정보가 풍부하고 분리 가능한 표현이 되는가?
• RQ3 δ-VAEs는 CIFAR-10 및 ImageNet 32×32와 같은 이미지 생성 벤치마크에서 최고 성능의 로그우도를 달성할 수 있는가?
• RQ4 δ-VAE 프레임워크는 후속 작업을 위한 분리 가능한 표현을 얼마나 효과적으로 학습하는가?
• RQ5 반인과적 인코더를 갖는 순차적 잠재 변수를 사용하면 생성 품질과 제어 가능성에 얼마나 기여하는가?

주요 결과

• δ-VAEs는 강력한 자기회귀적 디코더를 사용함에도 불구하고 CIFAR-10에서 최고 성능의 로그우도를 달성하며, 이는 이전 방법들을 능가한다.
• ImageNet 32×32에서는 경쟁력 있는 로그우도 점수를 확보하여 고해상도 이미지 생성에 대한 확장성을 입증한다.
• 잠재 공간에서의 의미 있는 선형 보간을 통해 모델이 분리 가능하고 해석 가능한 표현을 학습하고 있음을 확인할 수 있다.
• 보간 실험 결과는 부드럽고 의미적으로 유의미한 생성 경로를 보이며, 이는 구조적이고 분리 가능한 표현을 의미한다.
• 강력한 디코더를 사용함에도 불구하고 높은 품질의 샘플 생성과 의미 있는 분리 가능성을 동시에 달성한다.
• 표준 ELBO 목적함수를 유지하면서도 사후 붕괴를 효과적으로 방지할 수 있어, 기존 VAE 아키텍처에 즉시 통합 가능한 플러그 앤 플레이 솔루션을 제공한다.