[논문 리뷰] Variational Variance: Simple and Reliable Predictive Variance Parameterization

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|2020. 06. 08.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 예측 분산을 변분 변수로 간주하고 추론된 혼합 비율을 통해 변분 오토인코더(VAE)에서 예측 분산을 모델링하는 변분 접근법을 제안한다. 이는 이질적 분산 불확실성 추정을 가능하게 하여, 기존 VAE 이론과 경험 베이즈 기법과의 융합을 통해 비지도 및 지도 학습에서의 생성 품질과 일반화 능력을 향상시킨다.

ABSTRACT

An often overlooked sleight of hand performed with variational autoencoders (VAEs), which has proliferated the literature, is to misrepresent the posterior predictive (decoder) distribution's expectation as a sample from that distribution. Jointly modeling the mean and variance for a normal predictive distribution can result in fragile optimization where the ultimately learned parameters can be ineffective at generating realistic samples. The two most common principled methods to avoid this problem are to either fix the variance or use the single-parameter Bernoulli distribution--both have drawbacks, however. Unfortunately, the problem of jointly optimizing mean and variance networks affects not only unsupervised modeling of continuous data (a taxonomy for many VAE applications) but also regression tasks. To date, only a handful of papers have attempted to resolve these difficulties. In this article, we propose an alternative and attractively simple solution: treat predictive variance variationally. Our approach synergizes with existing VAE-specific theoretical results and, being probabilistically principled, provides access to Empirical Bayes and other such techniques that utilize the observed data to construct well-informed priors. We extend the VAMP prior, which assumes a uniform mixture, by inferring mixture proportions and assignments. This extension amplifies our ability to accurately capture heteroscedastic variance. Notably, our methods experimentally outperform existing techniques on supervised and unsupervised modeling of continuous data.

연구 동기 및 목표

• 예측 사후 평균을 샘플로 오해하는 일반적이지만 문제적인 VAE의 관행을 해결함으로써 신뢰할 수 있는 불확실성 추정을 약화시키는 문제를 해결한다.
• 특히 연속적 데이터 및 회귀 과제에서 정규 분포의 가능성에서 평균과 분산을 동시에 최적화하는 데 있어 취약성을 해결한다.
• 고정 분산 또는 베르누이 기반 분산 모델링의 상당한 한계를 겪는 고정된 분산 모델링의 대안으로 확률론적으로 타당한 방법을 개발한다.
• VAMP 사전을 확장하여 혼합 비율과 할당을 추론함으로써 이질적 분산을 정확하게 모델링할 수 있도록 한다.

제안 방법

• 예측 분산을 변분 분포로 모델링하는 잠재 변수로 간주하여 불확실성의 엔드 투 엔드 최적화를 가능하게 한다.
• 혼합 비율과 구성 요소 할당을 추론함으로써 VAMP 사전을 확장하여 이질적 분산을 위한 민첩하고 데이터 기반의 모델링을 가능하게 한다.
• 각 구성 요소가 다른 분산 수준에 해당하는 전문가 혼합 방식의 설정을 사용하며, 혼합 가중치는 데이터로부터 학습된다.
• 평균과 분산 양쪽의 불확실성을 고려한 변분 하한을 통해 분산 모델링을 VAE 목표에 통합한다.
• 관측된 데이터로 분산에 대한 사전 분포를 안내함으로써 경험 베이즈 기법을 활용하여 사전 분포의 校정을 향상시킨다.
• 비지도 VAE와 지도 회귀 과제에 모두 이 방법을 적용하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 예측 분산의 변분 매개변수화가 VAE에서 생성 샘플의 신뢰성과 현실성 향상에 기여하는가?
• RQ2 평균과 분산 네트워크의 공동 최적화가 연속적 데이터 모델링에서 모델의 안정성과 성능에 미치는 영향은 어떠한가?
• RQ3 VAMP 유사 사전에서 추론된 혼합 비율과 할당이 이질적 불확실성 추정에 얼마나 기여하는가?
• RQ4 제안된 방법이 비지도 및 지도 설정 모두에서 고정 분산 및 베르누이 기반 분산 모델링보다 우월한가?
• RQ5 경험 베이즈 기법과 효과적으로 통합될 수 있는가? 이는 사전 분포의 校정과 일반화 능력을 향상시키는가?

주요 결과

• 제안된 방법은 연속적 데이터의 비지도 모델링에서 기존 방법보다 뛰어난 생성 품질을 달성하며, 특히 복잡한 분산 구조를 잘 포착한다.
• 회귀 과제에서 이질적 불확실성을 학습함으로써 모델의 강건성이 향상되어 고정 또는 베르누이 분산을 사용하는 베이스라인을 능가한다.
• VAMP 사전에서 혼합 비율과 할당을 추론하는 것은 데이터 기반의 분산 패턴을 포착하는 데 모델의 능력을 크게 향상시킨다.
• 관측된 데이터로부터 유도된 잘 알려진 사전 분포를 제공함으로써 경험 베이즈 기법의 효과적인 사용을 가능하게 한다.
• 실험 결과는 이 접근법이 안정적이고 확장 가능하며 다양한 연속적 데이터 모델링 과제에서 일관된 향상을 이룬다는 것을 확인한다.