[논문 리뷰] Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference

Geoffrey Roeder, Yuhuai Wu외 1명|arXiv (Cornell University)|2017. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 73

한 줄 요약

본 논문은 재매개변수화된 기울기에서 점수함수 항을 제거하여 ELBO 최적화를 위한 간단하고 편향되지 않은 경로-도함수 경사 추정기를 제시하며, 근사된 사후가 실제 사후에 접근함에 따라 더 낮은 분산을 얻고, 이를 혼합 분포, IWAE, 및 흐름으로 확장한다.

ABSTRACT

We propose a simple and general variant of the standard reparameterized gradient estimator for the variational evidence lower bound. Specifically, we remove a part of the total derivative with respect to the variational parameters that corresponds to the score function. Removing this term produces an unbiased gradient estimator whose variance approaches zero as the approximate posterior approaches the exact posterior. We analyze the behavior of this gradient estimator theoretically and empirically, and generalize it to more complex variational distributions such as mixtures and importance-weighted posteriors.

연구 동기 및 목표

• 변분 후방이 정확할 때 ELBO에 대해 분산이 영인 간단하고 편향되지 않은 기울기 추정기를 제안한다.
• 점수 함수 항을 제거하면 많은 설정에서 기울기 분산이 감소함을 보인다.
• 표준 자동 미분 도구와 통합되는 구현을 제공한다.
• 혼합, 중요가중 경계(IWAE), 및 흐름 기반 사후에 접근 방식을 일반화한다.
• 표준 벤치마크(MNIST, Omniglot)에서 실증적 개선을 보여준다.

제안 방법

• ELBO의 재매개변수화된 기울기를 재방문하고 이를 경로-도함수 항과 점수함수 항으로 분해한다.
• 점수함수 항을 제거하여 편향되지 않은 경로-도함수 기울기 추정기를 얻을 것을 제안한다.
• 밀도 항을 평가할 때 변분 파라미터에 stop_gradient를 적용하여 이 요령을 구현하고, 기울기 계산을 위해 샘플 z를 고정시킨다.
• 혼합 변분 가족으로 확장하기 위해 이산 선택을 적분하고 각 구성요소의 파라미터에 stop_gradient를 적용한다.
• IWAE에 접근 방식을 적용하고 흐름 기반 사후에 대한 확장에 대해 논의한다(단, 주의점과 함께).

실험 결과

연구 질문

• RQ1 재매개변수화된 기울기에서 점수함수 항을 제거하여 더 낮은 분산의 편향되지 않은 ELBO 기울기 추정기를 구성할 수 있을까?
• RQ2 더 풍부한 변분 가족(혼합, IWAE, 흐름)에서 경로-도함수 추정기가 어떻게 작동하는지, 그리고 근사가 정확할 때는 어떠한지?
• RQ3 일반 자동 미분 프레임워크에 추정기를 통합하기 위한 실용적 구현 고려사항은 무엇인가?
• RQ4 표준 벤치마크(MNIST, Omniglot)에서 경로-도함수 기울기를 사용할 때 전체-도함수 기울기에 비해 실험적 성능이 개선되는가?
• RQ5 제어변수 개념 및 스케일 상수의 어닐링 가능성과의 상호작용은 어떤가?

주요 결과

• 경로-도함수 기울기 추정기는 편향되지 않으며 q_phi(z|x)가 p(z|x)에 접근함에 따라 분산이 0에 수렴한다.
• 점수함수 항 제거는 많은 경우 기울기 분산을 감소시킬 수 있으며, stop_gradient를 통한 계산 그래프의 한 줄 수정으로 더 쉽다.
• 이 요령은 혼합 사후 및 IWAE에 확장되며 실용적인 구현을 위한 알고리즘이 제공된다.
• 흐름 기반 사후의 경우 중간 z 변수로 인해 직관적인 stop_gradient 접근은 더 복잡하고 필요한 기울기 항을 보존하기 위한 추가 엔지니어링이 필요하다.
• MNIST와 Omniglot에 대한 실험 결과는 경로-도함수 추정기가 VAE 및 IWAE 설정에서 더 복잡한 사후에서 특히 개선을 보이며, 일부 경우에는 기울기 항 간의 상관관계에 따라 개선이 없을 수 있다.
• 이 방법은 기존 자동미분 도구(예: 주요 프레임워크의 stop_gradient)로 구현할 수 있는 간단한 즉시 적용 가능한 수정으로 남아 있다.