[논문 리뷰] Amortized Inference Regularization

Rui Shu, Hung Bui외 3명|arXiv (Cornell University)|2018. 05. 23.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 48

한 줄 요약

본 논문은 VAE의 추론 모델을 제약하기 위해 amortized inference regularization (AIR)을 도입하고, amortized posterior를 평활화하면 테스트 세트 로그-가능도가 향상되고 추론/생성 간의 차이가 줄어듦을 보이며, AIR를 IWAE로 확장한다.

ABSTRACT

The variational autoencoder (VAE) is a popular model for density estimation and representation learning. Canonically, the variational principle suggests to prefer an expressive inference model so that the variational approximation is accurate. However, it is often overlooked that an overly-expressive inference model can be detrimental to the test set performance of both the amortized posterior approximator and, more importantly, the generative density estimator. In this paper, we leverage the fact that VAEs rely on amortized inference and propose techniques for amortized inference regularization (AIR) that control the smoothness of the inference model. We demonstrate that, by applying AIR, it is possible to improve VAE generalization on both inference and generative performance. Our paper challenges the belief that amortized inference is simply a mechanism for approximating maximum likelihood training and illustrates that regularization of the amortization family provides a new direction for understanding and improving generalization in VAEs.

연구 동기 및 목표

• VAE의 일반화를 개선하기 위해 amortized inference를 규제하는 것을 동기부여하고, 단순히 추론 가족을 확장하는 것에 그치지 않는다.
• 노이즈 제거(denoising)와 가중치 정규화(weight normalization)라는 메커니즘을 제시하여 amortized inference 모델의 매끄러움을 강제한다.
• 후방(postior)와 생성기(generator)에 대한 AIR의 이론적 함의를 분석한다.
• 여러 데이터셋에 걸쳐 VAE와 IWAE에서 AIR의 효과를 입증한다.

제안 방법

• ELBO를 데이터 의존적 규제 최대우도 objective로 재해석하고 AIR를 용량 제약적 추론 가족으로 도입한다.
• (1) Denoising Variational Autoencoder (DVAE): 정규화 과정에서 인코더에 가우시안 잡음을 주입한다; (2) Weight-Normalized Inference (WNI): 가중치 정규화를 통해 매끄러움을 보장한다.
• 최적의 DVAE 추론 모델이 커널 회귀(kernel-regression) 형태로 수렴하고, 정규화 강도는 잡음 수준 σ에 의해(또는 표준 ELBO와의 볼록 결합으로) 제어된다는 것을 보였다.
• 다중 중요 샘플을 고려하는 정규화 항 R_k를 정의하여 AIR를 IWAE로 확장하고, AIR가 k와 상호작용하여 정규화를 조절하는 방법을 보였다.
• 매끄러움과 정규화 강도에 대한 이론적 결과(레마/정리)를 제시하고, 여러 데이터셋에 걸친 실험 결과를 제시한다.

실험 결과

연구 질문

• RQ1 AIR를 통해 amortized inference 모델의 용량을 제한하는 것이 VAE에서 테스트 세트 로그 가능도와 추론/생성 간의 격차를 개선하는가?
• RQ2 DVAE와 가중치 정규화 인코더가 표준 VAE에 비해 테스트 성능과 정규화 강도 면에서 어떻게 비교되는가?
• RQ3 AIR는 중요도 가중 자동인코더(IWAE) 및 중요도 샘플의 수 k와 어떻게 상호작용하는가?
• RQ4 매끄러운 amortized inference가 생성 모델에 어떤 이론적 통찰을 제공하는가?
• RQ5 다양한 데이터 레짐을 갖는 데이터셋에 대해 AIR가 실용적이고 견고한 정규화를 제공할 수 있는가?

주요 결과

-ln p_theta(x)	Δ_inf	-L(x)
86.93 ± 0.04	8.54 ± 0.14	95.48 ± 0.07
86.46 ± 0.02	6.34 ± 0.05	92.80 ± 0.07
86.51 ± 0.02	6.83 ± 0.04	93.35 ± 0.06
86.42 ± 0.01	6.68 ± 0.01	93.10 ± 0.02
110.32 ± 0.16	12.03 ± 0.25	122.35 ± 0.33
109.31 ± 0.19	12.56 ± 0.18	132.04 ± 0.37
110.12 ± 0.18	12.44 ± 0.16	122.56 ± 0.34
109.16 ± 0.31	11.39 ± 0.10	120.55 ± 0.20
138.05 ± 0.15	28.90 ± 0.42	109.14 ± 0.28
?	?	?

• AIR은 MNIST, OMNIGLOT, Caltech Silhouettes에서 표준 VAE에 비해 테스트 세트 로그-가능도와 추론 격차를 감소시킨다.
• DVAE와 WNI-VAE는 세 데이터셋에서 여러 지표(음의 로그 가능도, amortized ELBO, 추론 격차)에서 일반적으로 VAE를 능가한다.
• 정규화 강도 σ(DVAE) 또는 H(WNI)을 증가시키면 모델이 과적합에서 과적합으로 전이되고, 잘 선택된 값은 일부 데이터셋에서 테스트 로그-가능도 0.5–1.0 nat의 개선을 가져온다.
• IWAE 설정에서 DIWAE 및 WNI-IWAE는 AIR이 없는 IWAE에 비해 테스트 로그-가능도 측면에서 일관되게 우수하고 추론 간격 감소를 보이는 경우가 많다.
• IWAE에서 k가 증가함에 따라 AIR의 정규화 효과가 약해지지만, 실용적인 k(예: k=8, k=64)에서는 여전히 이롭고, 더 큰 k가 강한 AIR로 인한 과소적합을 완화한다.
• 이론적 제안은 더 매끄러운 amortized inference가 생성기에서 학습 샘플의 볼록 결합 가중치를 초래함을 보여주며, 생성기에 대한 자연스러운 정규화 메커니즘을 시사한다.