[논문 리뷰] Preventing Posterior Collapse Induced by Oversmoothing in Gaussian VAE.

Yuhta Takida, Wei‐Hsiang Liao외 3명|arXiv (Cornell University)|2021. 02. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 10

한 줄 요약

이 논문은 과도한 부드러움으로 인한 사후분포 붕괴를 방지하기 위해 가우시안 VAE의 분산 파라미터를 적응적으로 정규화하는 AR-ELBO를 제안한다. 학습 중에 분산을 동적으로 조정함으로써 AR-ELBO는 잠재공간의 품질을 향상시키고, MNIST와 CelebA에서 최신 기준 FID 점수를 달성하여 비균일한 데이터 분산 하에서도 강건한 생성 성능을 보여준다.

ABSTRACT

Variational autoencoders (VAEs) often suffer from posterior collapse, which is a phenomenon in which the learned latent space becomes uninformative. This is often related to a hyperparameter resembling the data variance. It can be shown that an inappropriate choice of this parameter causes oversmoothness and leads to posterior collapse in the linearly approximated case and can be empirically verified for the general cases. Therefore, we propose AR-ELBO (Adaptively Regularized Evidence Lower BOund), which controls the smoothness of the model by adapting this variance parameter. In addition, we extend VAE with alternative parameterizations on the variance parameter to deal with non-uniform or conditional data variance. The proposed VAE extensions trained with AR-ELBO show improved Frechet inception distance (FID) on images generated from the MNIST and CelebA datasets.

연구 동기 및 목표

• 변분 오토인코더에서 잠재공간이 부적절한 분산 초모수 설정으로 인해 정보가 없는 상태가 되는 사후분포 붕괴 문제를 해결하기 위해.
• 잘못된 분산 설정으로 인한 과도한 부드러움이 선형 및 일반 VAE 사례 모두에서 사후분포 붕괴로 이어지는 방식을 조사하기 위해.
• 학습 중에 분산 파라미터를 학습함으로써 모델의 부드러움을 적응적으로 제어하는 방법을 개발하기 위해.
• 비균일하거나 조건부로 변하는 데이터 분산을 다룰 수 있도록 VAE에 대체 파arameterization을 도입하기 위해.
• 이미지 생성 벤치마크에서 제안된 방법을 경험적으로 검증하여 생성 품질 향상을 보여주기 위해.

제안 방법

• 모델의 부드러움을 제어하기 위해 ELBO 목표 함수 내 분산 파라미터를 조정하는 적응적 정규화 기법인 AR-ELBO를 도입하기 위해.
• 과도한 부드러움을 줄이고 사후분포 붕괴를 방지하기 위해 적응적 분산 항을 포함한 근사하한확률(ELBO)을 수립하기 위해.
• 잠재공간 내 비균일하거나 조건부 데이터 분산을 모델링하기 위해 분산의 대체 파arameterization을 제안하기 위해.
• 기울기 기반 최적화를 사용하여 AR-ELBO로 VAE를 훈련함으로써 각 데이터 포인트에 최적의 부드러움 수준을 학습할 수 있도록 하기 위해.
• 분산이 사후분포 붕괴를 유도하는 역할을 이론적으로 설명하기 위해 선형 근사를 사용하기 위해.
• 분산을 잠재 차원 또는 입력 조건에 따라 변화시킴으로써 복잡한 데이터 분포를 다룰 수 있도록 방법을 확장하기 위해.

실험 결과

연구 질문

• RQ1 잘못 선택된 분산 초모수는 가우시안 VAE에서 어떻게 사후분포 붕괴를 유도하는가?
• RQ2 분산 파라미터의 적응적 정규화는 선형 및 일반 VAE 사례 모두에서 사후분포 붕괴를 방지할 수 있는가?
• RQ3 고정된 분산 설정을 가진 표준 VAE에 비해 AR-ELBO는 생성 품질을 어떻게 향상시키는가?
• RQ4 분산의 대체 파arameterization은 잠재공간 내 비균일하거나 조건부 데이터 분산을 더 잘 포착할 수 있는가?
• RQ5 AR-ELBO는 이미지 생성 작업에서 FID와 같은 표준 평가 지표에 어떤 영향을 미치는가?

주요 결과

• AR-ELBO는 분산 파라미터를 적응적으로 제어함으로써 과도한 부드러움을 줄이고 잠재공간 내 사후분포 붕괴를 효과적으로 방지한다.
• MNIST와 CelebA에서 FID 점수를 향상시켜 표준 VAE에 비해 훨씬 뛰어난 이미지 생성 품질을 보여준다.
• 이론적 분석은 선형 근사 사례조차도 잘못된 분산 선택이 과도한 부드러움과 사후분포 붕괴를 초래함을 밝혀냈다.
• 경험적 결과는 제안된 분산 적응 전략이 선형 모델을 초월해 복잡한 실제 세계 데이터 분포로 일반화됨을 확인했다.
• 분산의 대체 파arameterization은 비균일하거나 조건부 데이터 분산을 더 잘 모델링함으로써 표현 학습을 향상시킨다.
• AR-ELBO 프레임워크는 벤치마크 데이터셋에서 최신 기준 FID 성능을 달성하여 그 효과성을 입증했다.