[논문 리뷰] Using Large Ensembles of Control Variates for Variational Inference

Tomas Geffner, Justin Domke|arXiv (Cornell University)|2018. 01. 01.

Machine Learning and Algorithms인용 수 10

한 줄 요약

이 논문은 확률적 변분 추론에서 큰 앙상블의 제어 변수를 조합하기 위한 베이지안 리스크 최소화 프레임워크를 제안하며, 다양한 제어 변수를 체계적으로 통합함으로써 최적화 수렴을 크게 향상시킨다. 이 방법은 최적의 조합 규칙을 단순하게 유도하여 표준 추정기와 제어 변수의 축소된 집합을 능가한다.

ABSTRACT

Variational inference is increasingly being addressed with stochastic optimization. In this setting, the gradient's variance plays a crucial role in the optimization procedure, since high variance gradients lead to poor convergence. A popular approach used to reduce gradient's variance involves the use of control variates. Despite the good results obtained, control variates developed for variational inference are typically looked at in isolation. In this paper we clarify the large number of control variates that are available by giving a systematic view of how they are derived. We also present a Bayesian risk minimization framework in which the quality of a procedure for combining control variates is quantified by its effect on optimization convergence rates, which leads to a very simple combination rule. Results show that combining a large number of control variates this way significantly improves the convergence of inference over using the typical gradient estimators or a reduced number of control variates.

연구 동기 및 목표

• 확률적 변분 추론에서 높은 기울기 분산이 최적화 수렴을 저해하는 문제를 해결하기 위해.
• 기존의 변분 추론 내 제어 변수를 통합하고 체계화하기 위해.
• 다중 제어 변수를 조합하여 수렴 속도를 향상시키는 원칙적인 프레임워크를 개발하기 위해.
• 리스크 기반 기준을 사용하여 제어 변수 조합이 최적화 성능에 미치는 영향을 정량화하기 위해.

제안 방법

• 저자는 제어 변수의 수렴 속도에 미치는 영향을 평가하고 조합하기 위해 베이지안 리스크 최소화 프레임워크를 도입한다.
• 최적화 과정에서 기대 리스크를 최소화하는 단순하고 최적의 제어 변수 조합 규칙을 유도한다.
• 이 방법은 많은 수의 제어 변수를 체계적으로 유도하고 통합하며, 이를 통합된 추론 프레임워크의 일부로 간주한다.
• 프레임워크는 확률적 최적화의 수렴 속도에 대한 제어 변수 조합의 영향을 통해 제어 변수 조합의 품질을 정량화한다.
• 변분 추론의 구조를 활용하여 계산 및 제어 변수의 조합을 비용 증가 없이 효율적으로 수행한다.

실험 결과

연구 질문

• RQ1 큰 수의 제어 변수를 어떻게 체계적으로 조합하여 변분 추론 수렴을 향상시킬 수 있는가?
• RQ2 스토하스틱 최적화 설정에서 제어 변수를 어떻게 가중치를 두고 집계할 수 있는가?
• RQ3 많은 수의 제어 변수를 조합하는 것과 소수의 제어 변수나 표준 추정기 사용을 비교할 때 수렴 속도는 어떻게 다른가?
• RQ4 원칙적인 리스크 기반 프레임워크를 사용하여 제어 변수 조합의 품질을 정량화하고 향상시킬 수 있는가?

주요 결과

• 제안된 프레임워크를 사용해 큰 앙상블의 제어 변수를 조합하면 변분 추론의 수렴 속도가 크게 향상된다.
• 최적화 수렴 속도 측면에서 표준 기울기 추정기와 제어 변수의 축소된 집합을 능가한다.
• 베이지안 리스크 최소화에서 유도된 최적의 조합 규칙은 단순하고 효과적이며 실험 전반에서 일관된 향상을 제공한다.
• 제어 변수의 체계적 유도 과정은 향상된 추론에 활용할 수 있는 더 넓은 추정기 클래스를 드러낸다.