[논문 리뷰] SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models

Yucen Luo, Alex Beatson외 5명|arXiv (Cornell University)|2020. 04. 01.

Adversarial Robustness in Machine Learning참고 문헌 62인용 수 9

한 줄 요약

이 논문은 잠재변수 모델에서 무한급수의 랜덤화된 절단을 사용하여 로그 주변확률밀도의 비편향 추정기인 SUMO를 소개한다. 이는 변분하한값보다 더 정확한 학습을 가능하게 하며, 동일한 계산 비용에서 더 높은 테스트셋 로그우도를 달성하고, 엔트로피 정규화 및 역KL 최소화와 같은 비편향 그라디언트가 필요한 작업을 지원한다.

ABSTRACT

Standard variational lower bounds used to train latent variable models produce biased estimates of most quantities of interest. We introduce an unbiased estimator of the log marginal likelihood and its gradients for latent variable models based on randomized truncation of infinite series. If parameterized by an encoder-decoder architecture, the parameters of the encoder can be optimized to minimize its variance of this estimator. We show that models trained using our estimator give better test-set likelihoods than a standard importance-sampling based approach for the same average computational cost. This estimator also allows use of latent variable models for tasks where unbiased estimators, rather than marginal likelihood lower bounds, are preferred, such as minimizing reverse KL divergences and estimating score functions.

연구 동기 및 목표

• 잠재변수 모델 학습에 사용되는 표준 변분하한값의 편향 문제를 해결하기 위해.
• 기울기 기반 최적화를 지원하는 로그 주변확률밀도의 비편향 추정기를 개발하기 위해.
• 엔트로피 정규화 및 역KL 최소화와 같이 비편향 추정기가 필수적인 설정에서 잠재변수 모델의 효과적인 학습을 가능하게 하기 위해.
• 비편향 추정이 동일한 계산 비용에서 변분하한값보다 테스트셋 우도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 로그 주변확률밀도의 무한급수 표현을 랜덤화된 절단을 통해 비편향 추정기를 구성하는 방법을 사용한다.
• 주변확률밀도의 로그에 대한 급수 전개에 기반하며, 절단을 랜덤화하여 비편향성을 확보한다.
• 에ncoder-디코더 아키텍처에서 에ncoder 파라미터를 최적화하여 추정기의 분산을 최소화할 수 있다.
• 추정기의 기울기를 이용해 스트로스틱 최적화를 통해 모델을 학습시키며, 엔드 투 엔드 학습을 가능하게 한다.
• REINFORCE 및 기타 기울기 추정기 모두를 지원하므로 강화학습 및 사후추론에 적합하다.
• 심층 신경망을 갖는 변분 오토인코더와 같은 비선형성 있는 유연한 가능도를 가진 모델에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 무한급수 절단을 통해 잠재변수 모델에 대한 비편향 로그 주변확률밀도 추정기를 구성할 수 있는가?
• RQ2 제안된 비편향 추정기는 동일한 계산 비용에서 표준 변분하한값보다 더 높은 테스트셋 로그우도를 달성하는가?
• RQ3 엔트로피 정규화된 강화학습과 같은 비편향 기울기가 필요한 작업에서 추정기가 효과적으로 사용될 수 있는가?
• RQ4 추정기의 분산은 어떻게 행동하며, 모델 아키텍처 최적화를 통해 감소시킬 수 있는가?
• RQ5 고차원 조합 최적화 작업에서 추정기는 안정적이고 효과적인가?

주요 결과

• SUMO로 학습된 모델는 평균 계산 비용이 동일한 조건에서 중요도가중치자동인코더(IWAE)로 학습된 모델보다 훨씬 높은 테스트셋 로그우도를 달성한다.
• SUMO 추정기는 엔트로피 정규화된 강화학습에서 안정적인 학습을 가능하게 하며, IWAE는 편향과 불안정성으로 인해 실패한다.
• 500개 변수를 가진 이차 pseudo-Boolean 최적화에서, SUMO 기반 잠재변수 정책은 독립적이고 순차적 정책보다 탐색 능력과 고보상 영역 수렴 능력에서 뛰어나다.
• PARALLELIZABLE 샘플링 덕분에 SUMO 기반 모델은 순차적 정책보다 19.2배 빠르게 학습되며, 뛰어난 성능을 유지한다.
• 엔트로피 정규화가 적용된 상황에서 SUMO 기반 모델은 IWAE를 크게 능가하며, IWAE는 비잠재변수 독립 모델과 유사한 성능 수준에 수렴한다.
• 이 방법은 변분하한값이 편향으로 인해 부적합한 작업에서 매우 표현력이 뛰어나고 샘플링이 효율적인 잠재변수 모델의 사용을 가능하게 한다.