[논문 리뷰] On Using Control Variates with Stochastic Approximation for Variational Bayes and its Connection to Stochastic Linear Regression

Tim Salimans, David A. Knowles|arXiv (Cornell University)|2014. 01. 06.

Gaussian Processes and Bayesian Inference참고 문헌 3인용 수 19

한 줄 요약

이 논문은 확률적 근사 베이지안 추론(SAVI)에서 분산 감소를 위한 새로운 제어 변수 방법을 제안하며, 최적의 제어 변수가 확률적 선형 회귀와 밀접한 관련이 있음을 보여준다. 제안된 방법은 기존 방법보다 분산을 크게 감소시키며, 실험 결과 기준선 대비 기울기 추정기 분산을 최대 10배까지 감소시킴.

ABSTRACT

Recently, we and several other authors have written about the possibilities of using stochastic approximation techniques for fitting variational approximations to intractable Bayesian posterior distributions. Naive implementations of stochastic approximation suffer from high variance in this setting. Several authors have therefore suggested using control variates to reduce this variance, while we have taken a different but analogous approach to reducing the variance which we call stochastic linear regression. In this note we take the former perspective and derive the ideal set of control variates for stochastic approximation variational Bayes under a certain set of assumptions. We then show that using these control variates is closely related to using the stochastic linear regression approximation technique we proposed earlier. A simple example shows that our method for constructing control variates leads to stochastic estimators with much lower variance compared to other approaches.

연구 동기 및 목표

• 제어 변수를 사용하여 변분 베이즈에서 기인하는 높은 기울기 추정기 분산을 줄이기 위해.
• 확률적 근사 베이지안 추론에 대해 특정 가정 하에 이론적으로 최적의 제어 변수 집합을 유도하기 위해.
• 제안된 제어 변수 방법과 저자들이 이전에 제안한 확률적 선형 회귀 프레임워크 사이의 공식적인 연결 고리를 수립하기 위해.
• 실험적으로 제안된 제어 변수가 기존 방법보다 훨씬 낮은 분산을 가진 기울기 추정기를 제공함을 보여주기 위해.
• 해석적 공분산 구조를 활용하여 기울기의 곡률에 대한 명시적 지식 없이도 비가역적 사후분포에 대해 효율적이고 블랙박스 형태의 추론을 가능하게 하기 위해.

제안 방법

• 스코어 함수의 공분산 구조가 고정되고 알려져 있다고 가정할 때, 기울기 추정기의 분산을 최소화함으로써 확률적 근사 변분 베이즈를 위한 이상적인 제어 변수를 유도함.
• KL 발산 기울기를 스코어 함수와 로그우도비의 공분산으로 재정의함으로써, 선형 회귀 기법을 통한 분산 감소를 가능하게 함.
• 두 단계 추정기인 제안: 먼저 몬테카를로 샘플을 사용해 스코어 함수의 공분산 행렬을 추정하고, 이를 바탕으로 분산이 감소된 선형 회귀 기반 기울기 추정기를 계산함.
• 자연 기울기를 탐색 방향으로 사용함으로써 표준 기울기보다 더 좋은 수렴 성질을 확보함.
• 특히 해석적 형태가 제공되지 않을 경우에도 계산 효율성을 유지하기 위해 공분산 행렬의 샘플 기반 근사법을 적용함.
• 공분산 행렬이 희박하고 작은 블록(예: 2×2)에서 역행렬이 가능한 완전히 인수분해 가능한 지수가족 근사에 적용함으로써 확장 가능한 구현이 가능하도록 함.

실험 결과

연구 질문

• RQ1 확률적 근사 변분 베이지안 추론에서 분산을 줄이기 위한 이론적으로 최적의 제어 변수 집합은 무엇인가?
• RQ2 제안된 제어 변수 방법은 저자들이 이전에 제안한 확률적 선형 회귀 프레임워크와 어떻게 관련이 있는가?
• RQ3 실제 설정에서 제안된 제어 변수가 기존의 제어 변수 전략보다 유의미하게 낮은 분산을 달성할 수 있는가?
• RQ4 제안된 제어 변수와 함께 자연 기울기를 사용할 경우, 확률적 최적화에서 수렴 속도가 빨라지는가?
• RQ5 로그사후분포의 구조가 알려지지 않거나 비가역적인 경우에도 이 방법은 얼마나 효과적인가?

주요 결과

• 제안된 제어 변수는 Ranganath 등(2013) 및 Kingma와 Welling(2013)의 방법과 같은 기준선 대비 기울기 추정기 분산을 최대 한 계단 감소시킴.
• 이deal 제어 변수를 사용한 추정기의 평균제곱오차(MSE)는 0.0136로, Ranganath 등이 제안한 제어 변수 방법의 3.0090보다 유의미하게 낮음.
• 표본 공분산을 사용한 회귀 기반 기울기 추정기(ˆg_reg)는 분산 0.0180을 기록하여 Paisley 등(2012)의 델타 방법 추정기의 0.4968보다 뛰어남.
• 제곱편향은 ˆg_reg 추정기의 평균제곱오차의 약 20% 기여하지만, 샘플 수가 증가함에 따라 제곱적으로 감소함으로써 강한 점근적 일致성 임을 시사함.
• 편향된 공분산 추정에 기반함에도 불구하고 거의 편향이 없는 것으로 나타나 실무에서의 강건성을 시사함.
• 로그사후분포의 구조가 알려지지 않은 경우에도 이 방법은 효과적이며, 다양한 모델에 블랙박스 방식으로 적용 가능함.