[논문 리뷰] Balancing Reconstruction Quality and Regularisation in ELBO for VAEs

Shu‐Yu Lin, Stephen Roberts외 2명|arXiv (Cornell University)|2019. 09. 09.

Advancements in Photolithography Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 VAE의 가능도에서 노이즈 분산을 학습하는 방식을 제안하여 ELBO 목적함수에서 재구성 품질과 사전 정규화 간의 자동 균형을 이루는 메커니즘을 제공한다. 입력 데이터에 조건부로 설정된 분산을 함께 최적화함으로써, 이 방법은 샘플 품질 향상, 불확실성 추정, 수동 하이퍼파rameter 조정에 대한 의존도 감소를 가능하게 한다.

ABSTRACT

A trade-off exists between reconstruction quality and the prior regularisation in the Evidence Lower Bound (ELBO) loss that Variational Autoencoder (VAE) models use for learning. There are few satisfactory approaches to deal with a balance between the prior and reconstruction objective, with most methods dealing with this problem through heuristics. In this paper, we show that the noise variance (often set as a fixed value) in the Gaussian likelihood p(x|z) for real-valued data can naturally act to provide such a balance. By learning this noise variance so as to maximise the ELBO loss, we automatically obtain an optimal trade-off between the reconstruction error and the prior constraint on the posteriors. This variance can be interpreted intuitively as the necessary noise level for the current model to be the best explanation of the observed dataset. Further, by allowing the variance inference to be more flexible it can conveniently be used as an uncertainty estimator for reconstructed or generated samples. We demonstrate that optimising the noise variance is a crucial component of VAE learning, and showcase the performance on MNIST, Fashion MNIST and CelebA datasets. We find our approach can significantly improve the quality of generated samples whilst maintaining a smooth latent-space manifold to represent the data. The method also offers an indication of uncertainty in the final generative model.

연구 동기 및 목표

• VAE에서 재구성 손실과 사전 정규화 간의 균형을 맞추는 데 오랫동안 애초에 고정된 하이퍼파rameter 선택에 의존하는 장기적인 과제를 해결한다.
• 재구성 정밀도와 사전 제약 간의 트레이드오���을 동적으로 조정하여 샘플 품질 향상과 잠재공간의 매끄러움을 향상시킨다.
• 고정되거나 수동적인 값이 아닌, 데이터에 따라 결정되는 원칙적인 방법으로 가능도의 노이즈 분산을 설정한다.
• 입력 조건부로 유연하게 변하는 분산 파ram터를 학습함으로써 생성 및 재구성 샘플에 대한 불확실성 추정을 가능하게 한다.
• 생성 품질 향상을 위해 사전이 아닌 근사 집합 사후분포를 사용하여 분포 불일치 문제를 완화한다.

제안 방법

• VAE 파ram터와 함께 함께 최적화되는 가우시안 가능도 $ p({\mathbf{x}}|{\mathbf{z}}) $ 를 정의하며, 이때 분산 $ \sigma^2 $ 는 학습 가능하다.
• 신경망을 통해 입력 데이터에 따라 분산 $ \sigma^2 $ 를 조건화함으로써, 데이터 포인트 및 차원 간에 변화 가능하게 한다.
• ELBO 목적함수를 최대화함으로써 $ \sigma^2 $ 를 최적화하며, 자연스럽게 재구성과 정규화 간의 균형을 이룬다.
• 진짜 사후분포의 구조를 더 잘 포착하기 위해 집합 사후분포 $ q_{\phi}({\mathbf{z}}) $ 를 가우시안 혼합모형으로 근사한다.
• 학습된 $ \sigma^2 $ 를 불확실성 추정기로 활용: 높은 값은 재구성 또는 생성 시 불확실성이 높은 영역을 나타낸다.
• 사전이 아닌 근사 집합 사후분포에서 샘플을 생성함으로써 분포 불일치를 줄이고 현실감 있는 샘플을 향상시킨다.

실험 결과

연구 질문

• RQ1 VAE 가능도에서 노이즈 분산을 학습함으로써 수동 하이퍼파aram터 조정 없이도 재구성과 정규화 간의 균형을 자동으로 맞출 수 있는가?
• RQ2 입력 조건부로 변하는 민감한 분산 추정은 VAE에서 샘플 품질과 불확실성 정량화에 어떤 영향을 미치는가?
• RQ3 사전이 아닌 집합 사후분포에서 샘플링할 경우 생성 품질에 어떤 영향을 미치는가?
• RQ4 학습된 분산이 재구성 및 생성에 대해 신뢰할 수 있는 불확실성 추정기로 기능하는 정도는 어느 정도인가?
• RQ5 집합 사후분포 근사에서 가우시안 혼합모형의 구성 요소 수가 늘어날 경우, 근사 정확도와 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 입력에 조건부로 설정되고 차원 간에 변화하는 $ \sigma^2 $ 를 최적화함으로써, MNIST와 Fashion MNIST에서 테스트 로그가능도가 크게 향상된다.
• 생성 품질 향상을 위해 사전이 아닌 근사 집합 사후분포에서 샘플링할 경우, CelebA의 FID 점수가 약간 향상되며, 분석에서 FID는 80.1에서 79.9로 감소한다.
• 입력 조건부로 변하는 유연한 $ \sigma^2 $ 를 사용할 경우, 고정된 스칼라 분산 대비 CelebA에서 FID 점수에 7.5% 향상이 이루어진다.
• 학습된 $ \sigma^2 $ 를 통한 불확실성 추정은 손글씨 '0'의 상단 획이나 변형된 얼굴 특징 등 재구성 오차가 높은 영역을 효과적으로 강조한다.
• 집합 사후분포 근사에서 가우시안 혼합모형의 구성 요소 수가 500개를 넘어서면 수익 감소 효과가 나타나며, 2000개를 초과해도 FID 향상이 유의미하지 않다.
• 제안된 방법은 집합 사후분포와 사전 간의 격차를 줄여 잠재공간의 매끄러움을 유지하면서도 더 현실적이고 다양한 샘플을 생성한다.