[논문 리뷰] Automated Variational Inference in Probabilistic Programming

David Wingate, Théophane Weber|arXiv (Cornell University)|2013. 01. 07.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 72

한 줄 요약

이 논문은 분석적 해법이 불가능한 경우에도 효율적으로 사후 분포를 근사할 수 있도록, 확률적 프로그래밍을 위한 자동화된 변분 추론 알고리즘을 제안한다. 확률적 경사 하강 최적화를 통해 변분 추론을 수행하며, 경로 기반 계산과 강화학습 기반 베이스라인 적응 기법을 활용하여 표준 확률적 경사 하강법보다 수렴 속도가 빠르고 분산이 낮다. 특히 LDA와 QMR-DT와 같은 복잡한 비공액 모델에서 뛰어난 성능을 보인다.

ABSTRACT

We present a new algorithm for approximate inference in probabilistic programs, based on a stochastic gradient for variational programs. This method is efficient without restrictions on the probabilistic program; it is particularly practical for distributions which are not analytically tractable, including highly structured distributions that arise in probabilistic programs. We show how to automatically derive mean-field probabilistic programs and optimize them, and demonstrate that our perspective improves inference efficiency over other algorithms.

연구 동기 및 목표

• 해석적 해법이 불가능한 임의의 확률적 프로그램에서 효율적이고 자동화된 변분 추론을 수행하는 데 도전한다.
• 기존의 좌표 상승 변분 추론의 한계를 극복한다. 이는 업데이트 방정식의 수작업 유도가 필요하며, 비공액 또는 고도로 구조화된 모델에서는 실패한다.
• 모델에 특화된 유도 없이도 확률적 프로그램에서 직접 평균장 변분 근사를 유도하고 최적화할 수 있는 일반 목적의 자동화된 방법을 개발한다.
• 강화학습에서 영감을 받은 베이스라인 적응을 통한 확률적 경사 하강 최적화를 활용하여 추론 효율성과 수렴 속도를 향상시킨다.
• LDA와 QMR-DT와 같은 복잡한 모델에서 표준 방법이 고차원성과 비공액성으로 인해 어려움을 겪는 상황에서도 확장 가능한 사후 근사를 가능하게 한다.

제안 방법

• 각 실행 트레이스가 역사에 의존하는 분포를 가진 기본 랜덤 절차(ERP)의 시퀀스에 해당하는 트레이스 기반 생성 과정으로 확률적 프로그램을 수식화한다.
• 변분 목표를 증거 하한(lower bound, ELBO)를 최대화하는 것으로 정의하며, 이는 변분 근사와 진짜 사후 분포 사이의 KL 발산을 최소화하는 것과 동치이다.
• 경로 도함수와 재설계 기법을 사용하여 ELBO의 확률적 경사 추정기를 유도함으로써, 프로그램 내의 확률적 노드를 통해 경사 계산이 가능하게 한다.
• 에피소드 기반 자연 액터-크리틱(Enac)에서 영감을 얻은, 분산을 줄이기 위한 베이스라인 적응 메커니즘을 도입하여 최적화의 안정성과 수렴 속도를 향상시킨다.
• 온라인 및 미니배치 기반의 경사 추정을 사용하여 전체 데이터 세트를 다시 처리하지 않고도 대규모 데이터 세트에서의 확장 가능한 최적화를 가능하게 한다.
• 제안된 방법을 LDA와 QMR-DT 벤치마크에 적용하여, 수작업 유도 없이도 자동으로 변분 프로그램을 유도하고 최적화할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 분석적 유도 없이도 임의의 확률적 프로그램에 대해 확률적 경사 기반 변분 추론을 자동으로 적용할 수 있는가?
• RQ2 경사 추정에서 학습된 베이스라인 사용이 복잡한 모델의 변분 추론에서 수렴 속도와 분산에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 LDA와 QMR-DT와 같은 비공액 모델에서 표준 확률적 경사 하강법과 이차 최적화 방법보다 수렴성과 안정성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 기존 방법이 실패하는 고차원 및 구조화된 복잡한 모델에서 자동 변분 추론이 얼마나 대규모 데이터 세트에 대해 확장 가능한가?
• RQ5 자동으로 유도된 평균장 변분 프로그램이 후속 추론 작업에 적합한 정확하고 효율적인 사후 근사 결과를 제공하는가?

주요 결과

• 제안된 자동 변분 추론(AVI) 방법은 LDA와 QMR-DT 벤치마크에서 표준 확률적 경사 하강법보다 더 빠른 수렴 속도와 낮은 경사 분산을 달성한다.
• 베이스라인 적응을 포함한 에피소드 기반 자연 액터-크리틱(ENAC) 알고리즘은 동일한 학습률과 경사 정규화를 사용하더라도, 순수한 확률적 경사 하강법보다 뚜렷이 뛰어난 성능을 보인다.
• 이차 최적화 경사 하강(SOGD)은 곡률 정보를 사용하지만 LDA 실험에서는 성능이 열악하고 심지어 발산하는 경향을 보이며, 이는 곡률 추정만으로는 충분하지 않으며 분산 감소 기법이 필수적임을 시사한다.
• ENAC 경사와 함께 공액 기울기 최적화는 가장 급격한 내림걸음보다 더 빠르게 수렴함을 보여주며, 이는 단지 이차 정보가 아니라 경사 방향의 품질이 핵심 요소임을 입증한다.
• 학습이 끝난 후, 변분 프로그램은 MCMC의 비용의 일부분으로서 사후 샘플링을 매우 빠르게 수행할 수 있으며, MCMC의 웜 스타트로도 사용되어 추가로 효율성을 향상시킬 수 있다.
• 이 방법은 복잡하고 비공액인 모델에서 평균장 변분 근사를 자동으로 유도하고 최적화할 수 있으며, 좌표 상승 방정식의 수작업 유도가 필요 없어진다.