[논문 리뷰] Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|2020. 06. 08.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 8

한 줄 요약

이 논문은 회귀 및 VAE에서 이방성 잡음 분산을 모델링하기 위한 변분 접근법을 제안하며, 분산을 사전을 가진 잠재 변수로 간주하여 훈련을 안정화하고 校정을 향상시킨다. 이 방법은 예측 평균과 분산의 校정, 샘플 품질, 사후 예측 검증을 크게 향상시키며, 최첨단 기준 모델들과 경쟁 가능한 로그우도를 유지한다.

ABSTRACT

Brittle optimization has been observed to adversely impact model likelihoods for regression and VAEs when simultaneously fitting neural network mappings from a (random) variable onto the mean and variance of a dependent Gaussian variable. Previous works have bolstered optimization and improved likelihoods, but fail other basic posterior predictive checks (PPCs). Under the PPC framework, we propose critiques to test predictive mean and variance calibration and the predictive distribution's ability to generate sensible data. We find that our attractively simple solution, to treat heteroscedastic variance variationally, sufficiently regularizes variance to pass these PPCs. We consider a diverse gamut of existing and novel priors and find our methods preserve or outperform existing model likelihoods while significantly improving parameter calibration and sample quality for regression and VAEs.

연구 동기 및 목표

• 회귀 및 VAE에서 평균과 분산 네트워크의 공동 최적화에서의 불안정성, 즉 평균 예측 향상에 따라 분산 추정치가 0으로 수렴하는 문제를 해결하기 위해.
• 표준 로그우도 지표를 넘어서 엄밀한 사후 예측 검증(PPCs)을 도입하여 모델의 校정과 예측 성능을 향상시키기 위해.
• 이방성 구조를 유지하면서도 불확실성 인식 모델링이 가능한 단순하고 신뢰성 있고 校정된 분산 매개변수화 방법을 개발하기 위해.
• 높은 로그우도가 모델 품질을 의미한다고 보는 가정을 도전하기 위해, 특히 예측 분산과 샘플 생성 품질이 열 劣한 경우에 특히.
• 표준 VAE 관행—예를 들어 예측 분포에서 샘플링하는 대신 디코더 출력의 평균을 보고하는 것—이 진정한 불확실성과 모델 평가를 악화시키는 방식으로 모델 실패를 가리키는 것을 입증하기 위해.

제안 방법

• 이방성 분산을 변분 베이지안 프레임워크 내의 잠재 변수로 간주하고, 분산 추정을 정규화하기 위해 분산에 대한 사전을 도입한다.
• 분산 매개변수에 대한 변분 사후분포를 사용하여, 원칙적이고 미분 가능한 방식으로 불확실성을 학습한다.
• 사후 예측 검증(PPCs)을 적용하여 평균과 분산의 校정, 예측 분포 품질, 샘플의 현실성 등을 평가한다.
• 분산에 대한 여러 사전(Gamma, VAMP, VBEM 등)을 비교하여, 로그우도를 희생시키지 않고도 校정을 향상시키는 사전을 선택한다.
• 예측 분포에서의 전체 사후 예측 분포 $p(x^*|x)$ 에서 몬테카를로 샘플링을 통해 현실적인 데이터 샘플을 생성하며, 예측값의 기대값만 보고하는 것과는 다르다.
• 정규화된 로그우도, 평균 및 샘플 RMSE, 분산 편향(예측 분산과 경험적 분산 간의 차이)을 측정하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 단순한 변분 처리 방식으로 이방성 분산을 다루면, 로그우도 외에도 모델의 校정과 예측 성능을 향상시킬 수 있는가?
• RQ2 왜 VAE와 회귀에서 높은 로그우도를 기록하는 모델들이 종종 사후 예측 검증을 통과하지 못하는가, 특히 샘플 품질과 분산 校정 측면에서?
• RQ3 분산을 사전이 있는 잠재 변수로 간주할 경우 최적화 안정성과 불확실성 추정에 어떤 영향을 미치는가?
• RQ4 표준 VAE 관행—예를 들어 예측 분포에서 샘플링하는 대신 디코더 출력의 평균을 보고하는 것—은 모델의 불확실성과 샘플 품질 실패를 얼마나 가리키는가?
• RQ5 통합된 프레임워크는 로그우도와 평균 및 분산 校정과 같은 통합적 평가 지표를 동시에 향상시킬 수 있는가?

주요 결과

• 제안된 변분 분산 방법은 최첨단 기준 모델들과 경쟁 가능한 로그우도를 기록하면서도, 특히 평균과 분산의 校정 측면에서 사후 예측 검증에서 뚜렷한 승리를 거두었다.
• V3AE-Gamma 버전은 가장 높은 로그우도(1201.95 ± 25.25)를 기록했고, 뛰어난 샘플 품질을 보였으며, 낮은 분산 편향(−8.0e−3 ± 4.1e−4)과 RMSE(0.12 ± 3.4e−3)를 기록했다.
• 고정된 분산 VAE(σ² = 0.001)는 날카운 평균과 샘플을 생성했지만, 낮은 로그우도와 이방성 구조의 부재로 인해 모델 실패를 보였으며, 외관상으로는 매력적으로 보였지만.
• Student-VAE는 가장 높은 로그우도(3134.52 ± 18.60)를 기록했지만, 모든 다른 PPC에서 실패했고, 인식할 수 없는 샘플을 생성했으며, 평균 및 분산 校정이 열 劣했다.
• Detlefsen의 VAE는 가장 열 劣한 분산 校정(편향: 9.97 ± 3.3e−4)과 샘플 품질을 보였으며, 상수 사전 10으로 인해 분산을 과도하게 추정하는 경향을 보였다.
• MAP-VAE와 V3AE-Gamma는 높은 로그우도와 뛰어난 校정 성능을 유지했으며, V3AE-Gamma는 샘플 현실성과 불확실성 추정을 포함한 모든 지표에서 뛰어난 성능을 보였다.