[논문 리뷰] Simple and Effective VAE Training with Calibrated Decoders

Oleh Rybkin, Kostas Daniilidis외 1명|arXiv (Cornell University)|2020. 06. 23.

Digital Media Forensic Detection참고 문헌 65인용 수 35

한 줄 요약

본 논문은 VAE를 위한 보정된 디코더를 분석하고, 해석적 분산 추정을 갖는 sigma-VAE를 도입하며, 이것이 이미지 및 비디오 데이터셋 전반에서 베타 하이퍼파라미터 조정을 제거하고 생성 품질을 향상시킨다는 것을 보인다.

ABSTRACT

Variational autoencoders (VAEs) provide an effective and simple method for modeling complex distributions. However, training VAEs often requires considerable hyperparameter tuning to determine the optimal amount of information retained by the latent variable. We study the impact of calibrated decoders, which learn the uncertainty of the decoding distribution and can determine this amount of information automatically, on the VAE performance. While many methods for learning calibrated decoders have been proposed, many of the recent papers that employ VAEs rely on heuristic hyperparameters and ad-hoc modifications instead. We perform the first comprehensive comparative analysis of calibrated decoder and provide recommendations for simple and effective VAE training. Our analysis covers a range of image and video datasets and several single-image and sequential VAE models. We further propose a simple but novel modification to the commonly used Gaussian decoder, which computes the prediction variance analytically. We observe empirically that using heuristic modifications is not necessary with our method. Project website is at https://orybkin.github.io/sigma-vae/

연구 동기 및 목표

• 수동 beta 조정 없이 보정된 디코더가 VAE 성능에 미치는 영향을 평가한다.
• 잘 보정된 불확실성과 안정적인 학습을 제공하는 디코더 매개변수화를 식별한다.
• 디코더 분산을 설정하는 간단하고 해석적 방법을 개발하고 이를 기울기 기반 학습과 비교한다.
• 다양한 이미지 및 비디오 데이터셋과 모델 유형에 대해 보정된 디코더를 평가한다.

제안 방법

• 가우시안 디코더와 이산 디코더에 대해 다양한 보정된 디코더 아키텍처를 검토하고 비교한다.
• 단일 공유 분산을 갖는 가우시안 디코더와 해석적 최적 분산 형식(σ-VAE)을 제안한다.
• 보정된 디코더를 beta-VAE와 연결하고 보정이 디코더 불확실성의 반영과 어떻게 대응하는지 보여준다.
• 목표식 L = D ln sigma + (D/(2 sigma^2)) MSE(x, x̂) + KL(q(z|x)||p(z))를 도출한다.
• 픽셀별, 이미지별, 공유 분산 디코더를 탐구하고 안정성 및 MI와 사전 매칭에 미치는 영향을 분석한다.
• 단일 이미지 및 순차 VAE 모델을 사용하여 SVHN, CelebA, CIFAR, BAIR SVG에 대해 경험적으로 평가한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 아키텍처에서 디코더를 보정하는 것이 KL 가중치 beta를 조정할 필요를 제거하는가?
• RQ2 어떤 디코더 매개변수화가 잘 보정된 불확실성과 안정적인 학습을 제공하는가?
• RQ3 디코더 분산에 대한 해석적 해가 학습 속도와 샘플 품질을 향상시키는가?
• RQ4 보정된 디코더가 잠재 변수의 정보 내용과 사전 정렬에 어떤 영향을 미치는가?
• RQ5 ELBO, FID, 샘플 품질 측면에서 픽셀별 대 공유 분산의 실제 트레이드오프는 무엇인가?

주요 결과

• 보정된 디코더는 수동 beta 조정 없이 beta-VAE 성능에 맞추거나 이를 초과할 수 있으며 ELBO 및 샘플 품질을 향상시킨다.
• 공유 분산을 가진 가우시안 디코더(σ-VAE)는 종종 단일 분산 디코더 및 조정된 beta-VAE 구성보다 우수한 성능을 보인다.
• 해석적 최적 분산 해법(optimal sigma-VAE)은 기울기 기반 학습 분산보다 더 빠른 수렴과 더 높은 로그 가능도(log-likelihood)를 얻는다.
• 픽셀별 분산 디코더는 공유 분산이나 이미지별 변형에 비해 샘플 품질과 사전 정렬에 해를 끼칠 수 있다.
• 최적 sigma 기반 방법은 다수의 데이터셋 및 모델 유형에서 강한 ELBO와 샘플 품질을 달성한다.