[논문 리뷰] Conjugate-Computation Variational Inference : Converting Variational Inference in Non-Conjugate Models to Inferences in Conjugate Models

Mohammad Emtiyaz Khan, Lin Wu|arXiv (Cornell University)|2017. 03. 13.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 31

한 줄 요약

이 논문은 비공액 항에 대한 확률적 경량 하강 업데이트와 공액 항에 대한 효율적인 공액 계산을 조합하는 새로운 변분 추론 알고리즘인 공액-계산 변분 추론(CVI)을 소개한다. 평균 매개변수 공간에서 확률적 미러 강하를 통해 업데이트를 공식화함으로써, CVI는 각 경량 하강 단계를 공액 계산을 통해 구현할 수 있게 되어, 기존의 공액 구조를 忽略하는 방법들보다 훨씬 더 빠른 수렴 속도를 보이며, 가우스 프로세스 분류 및 행렬 분해와 같은 다양한 모델에서 이를 입증한다.

ABSTRACT

Variational inference is computationally challenging in models that contain both conjugate and non-conjugate terms. Methods specifically designed for conjugate models, even though computationally efficient, find it difficult to deal with non-conjugate terms. On the other hand, stochastic-gradient methods can handle the non-conjugate terms but they usually ignore the conjugate structure of the model which might result in slow convergence. In this paper, we propose a new algorithm called Conjugate-computation Variational Inference (CVI) which brings the best of the two worlds together -- it uses conjugate computations for the conjugate terms and employs stochastic gradients for the rest. We derive this algorithm by using a stochastic mirror-descent method in the mean-parameter space, and then expressing each gradient step as a variational inference in a conjugate model. We demonstrate our algorithm's applicability to a large class of models and establish its convergence. Our experimental results show that our method converges much faster than the methods that ignore the conjugate structure of the model.

연구 동기 및 목표

• 공액 및 비공액 항을 모두 포함하는 모델에서 변분 추론의 계산 비효율성을 해결하기 위해.
• 기존 방법들이 공액 구조를 忽略함으로써 수렴 속도가 느려지거나, 비공액 항에 대해 복잡한 근사가 필요로 하는 한계를 극복하기 위해.
• 공액 모델의 계산 효율성과 비공액 구성 요소에 대한 확률적 경량 하강 방법의 유연성을 통합하기 위해.
• 공액 설정에서는 표준 VMP로 축소되며 수렴 보장을 유지하는 일반 목적의 추론 알고리즘을 개발하기 위해.

제안 방법

• 평균 매개변수 공간에서의 확률적 미러 강하 방법을 제안하여, 각 경량 하강 단계를 공액 계산을 통해 실행할 수 있도록 한다.
• 각 경량 하강 업데이트를 공액 모델에서의 변분 추론 문제로 표현함으로써, 닫힌 형태의 사후 분포 업데이트를 활용한다.
• 모델을 공액 및 비공액 부분으로 분할하고, 메시지 전달을 사용하여 조건부 공액 모델로 확장한다.
• 평균 장 가정 변분 근사와 함께 사용되며, 공액 구조가 유지되고 활용되도록 업데이트를 공식화한다.
• 확률적 경량 하강 단계를 공액 자연지수족에서 베이지안 추론으로 변환함으로써 알고리즘을 유도한다.
• 유사한 정규 조건 하에서 수렴을 확립하고, 기존 방법들인 VMP 및 SVI와의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 비공액 우도를 처리할 수 있는 동시에 공액 모델의 계산 효율성을 유지하는 변분 추론 알고리즘을 설계할 수 있는가?
• RQ2 확률적 경량 하강 업데이트를 어떻게 재구성하여 공액 계산을 활용할 수 있으며, 이로 인해 수렴 속도가 어떻게 향상될 수 있는가?
• RQ3 제안된 방법을 공액 및 비공액 구성 요소를 모두 포함하는 모델, 특히 조건부 공액 구조로 일반화할 수 있는가?
• RQ4 확률적 경량 하강 업데이트에 공액 계산을 통합하면, 블랙박스 확률적 방법보다 더 빠른 수렴을 이룰 수 있는가?
• RQ5 비공액 설정에서 제안된 알고리즘의 이론적 수렴 행동은 어떠한가?

주요 결과

• CVI는 공액 구조를 忽略하는 방법들보다 가우스 프로세스 분류 및 다중 클래스 로지스틱 회귀에서 뚜렷이 더 빠른 수렴 속도를 보였다.
• a7a 데이터셋에서, CVI는 0.95초 만에 수렴했으며, S&K Alg2(0.74초)와 S&K FG(1.19초)를 모두 앞섰고, 유사한 로그우도를 기록했다.
• 감마 요인 모델에서, CVI는 훈련 시간을 Knowles의 210.03초에서 50.91초로 단축시켰으며, 경쟁력 있는 로그우도를 유지했다.
• 감마 행렬 분해를 사용한 MNIST에서, CVI는 1692.64초 만에 테스트 손실 0.000119를 달성했고, ADAM(1776.83초, 0.000125)을 능가했다.
• CVI는 colon-cancer 및 Covtype-scale을 포함한 모든 벤치마크 데이터셋에서 거의 최적의 성능을 달성했으며, 최소한의 시간 오버헤드를 보였다.
• 모든 데이터셋에서 정확한 사후분포에 가까운 해에 수렴했으며, 로그우도 값이 모든 데이터셋에서 최고 성능을 보인 베이스라인과 0.01 이내로 유사했다.