[논문 리뷰] Inference Suboptimality in Variational Autoencoders

Chris Cremer, Xuechen Li외 1명|arXiv (Cornell University)|2018. 01. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 85

한 줄 요약

본 논문은 VAE에서 추론의 비최적화를 근사오차(approximation gap)와 상환오차(amortization gap)로 분해하고, 상환오차가 종종 우세하며 더 표현력 있는 근사가 상환오차를 줄이고 일반화에 도움을 줄 수 있는 반면 생성기가 선택된 근사에 적응한다는 점을 보여준다.

ABSTRACT

Amortized inference allows latent-variable models trained via variational learning to scale to large datasets. The quality of approximate inference is determined by two factors: a) the capacity of the variational distribution to match the true posterior and b) the ability of the recognition network to produce good variational parameters for each datapoint. We examine approximate inference in variational autoencoders in terms of these factors. We find that divergence from the true posterior is often due to imperfect recognition networks, rather than the limited complexity of the approximating distribution. We show that this is due partly to the generator learning to accommodate the choice of approximation. Furthermore, we show that the parameters used to increase the expressiveness of the approximation play a role in generalizing inference rather than simply improving the complexity of the approximation.

연구 동기 및 목표

• VAE에서 실제 포스트웨어와 근사 포스트웨어 간의 불일치의 원인을 조사하고, 근사 대 상환 차이의 관점에서 분석한다.
• 인코더 선택, 포스트웨어의 표현력, 디코더 용량, 최적화가 추론 비최적성에 어떤 영향을 미치는지 정량화한다.
• 학습된 생성기가 선택된 추론 근사에 적응하는 것을 입증한다.
• 표준 데이터셋에서 표현력이 풍부한 근사(플로우, 보조 변수)가 추론과 일반화에 미치는 영향을 평가한다.

제안 방법

• VAE의 추론 차이를 근사 및 상환 구성요소로 정의하고 분해한다.
• 정규화 흐름(normalizing flows) 및 보조 변수(q_Flow, q_AF) 등을 포함한 표현력 있는 근사 포스트에리를 실험한다.
• MNIST, Fashion-MNIST, CIFAR-10에서 ELBO, IWAE, AIS 경계값을 사용하여 로그 p(x)와 간극을 추정하며 모델을 훈련 및 평가한다.
• q의 국소(데이터 포인트별) 최적화를 통해 q*를 얻고 이를 상환된 q와 비교한다.
• 훈련 중 엔트로피/온도 어닐링을 사용하여 표현력 있는 포스트리에 대한 모델의 활용과 추론 차이에 미치는 영향을 연구한다.
• 인코더/디코더 용량과 최적화 선택이 간극에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 VAE에서 주변 로그 가능도(marginal log-likelihood)와 ELBO 간의 차이가 발생하는 원인은 무엇인가?
• RQ2 근사 차이와 상환 차이가 데이터셋 전반의 추론 비최적성에 어떻게 기여하는가?
• RQ3 근사 포스트ER의 표현력을 높이면 상환 차를 줄이는가, 아니면 주로 근사 차를 줄이는가?
• RQ4 인코더 용량과 변분 표현력은 보류 데이터에 대한 일반화에 어떻게 영향을 미치는가?

주요 결과

• 상환 차가 전체 추론 차의 대부분을 차지하는 경우가 많으며, 데이터셋에 따라 근사 차보다 더 지배적일 수 있다.
• 선택된 근사에 생성기가 적응할 수 있어 표현력이 증가하면 근사 차를 줄인다.
• 표현력이 있는 근사(flows)는 또한 상환 차를 감소시키며, 이는 인코더 용량 증가가 추론에 영향을 주기 때문이고 단순히 근사 차만의 문제가 아니다.
• 더 큰 인코더 용량은 상환 오차를 줄이지만 인코더 과적합과 일반화 저하의 위험도 있다.
• 훈련 중 엔트로피/엔트로피 어닐링은 모델이 표현력 있는 포스트리에의 유연성을 활용하도록 돕는다.
• 디코더 용량을 늘리면 근사 차가 감소하여, 표현력이 덜한 인코더의 경우 생성기 유연성이 추론을 완화할 수 있음을 시사한다.