[논문 리뷰] Delayed Sampling and Automatic Rao-Blackwellization of Probabilistic Programs

Lawrence M. Murray, Daniel Lundén외 3명|arXiv (Cornell University)|2017. 08. 25.

Bayesian Modeling and Causal Inference인용 수 26

한 줄 요약

이 논문은 확률적 프로그래밍에서 분석적으로 다룰 수 있는 하위 구조—예를 들어 켄타일러리어스 사전분포나 아핀 관계—를 자동으로 식별하고, 마지막 순간까지 샘플링을 연기하는 동적 메커니즘인 지연 샘플링을 소개한다. 이는 순차 몽테카를로(SMC) 추론에서 라오–블랙웰라이제이션과 국소적으로 최적의 제안 분포를 가능하게 하며, 몽테카를로 분산을 감소시킨다. 이 방법은 매개변수를 분석적으로 근사함으로써 분산을 줄이며, 합성 모델과 실제 데이터를 사용한 실제 모델(예: 마이크로네시아의 dengue 유행 모델)에서 추정 효율성이 크게 향상됨을 보여준다.

ABSTRACT

We introduce a dynamic mechanism for the solution of analytically-tractable substructure in probabilistic programs, using conjugate priors and affine transformations to reduce variance in Monte Carlo estimators. For inference with Sequential Monte Carlo, this automatically yields improvements such as locally-optimal proposals and Rao-Blackwellization. The mechanism maintains a directed graph alongside the running program that evolves dynamically as operations are triggered upon it. Nodes of the graph represent random variables, edges the analytically-tractable relationships between them. Random variables remain in the graph for as long as possible, to be sampled only when they are used by the program in a way that cannot be resolved analytically. In the meantime, they are conditioned on as many observations as possible. We demonstrate the mechanism with a few pedagogical examples, as well as a linear-nonlinear state-space model with simulated data, and an epidemiological model with real data of a dengue outbreak in Micronesia. In all cases one or more variables are automatically marginalized out to significantly reduce variance in estimates of the marginal likelihood, in the final case facilitating a random-weight or pseudo-marginal-type importance sampler for parameter estimation. We have implemented the approach in Anglican and a new probabilistic programming language called Birch.

연구 동기 및 목표

• 분석적으로 다룰 수 있는 관계를 런타임에 동적으로 식별함으로써 SMC 추론에서 분산 감소를 자동화한다.
• 분석적 관계가 충분히 활용되지 않을 경우 SMC에서 최적의 몽테카를로 추정기의 성능이 열 劣하는 문제를 해결한다.
• 모델의 전체 구조에 대한 사전 지식 없이도 켄타일러리어스 사전분포와 아핀 변환을 활용한 추론을 가능하게 한다.
• 지연 샘플링을 통해 매개변수를 자동으로 근사함으로써 정확한 주변부 확률 추정에 필요한 입자 수를 줄인다.
• 모델링 코드에 최소한의 영향을 미치며 확률적 프로그래밍 언어에 이 메커니즘을 원활하게 통합한다.

제안 방법

• 프로그램 실행과 함께 동적 방향 그래프를 유지하며, 노드는 랜덤 변수를, 간선은 켄타일러리어스성이나 아핀 변환과 같은 분석적으로 다룰 수 있는 관계를 나타낸다.
• 모든 가용 관측치를 분석적으로 조건부로 설정함으로써 '샘플' 체크포인트에서 랜덤 변수의 샘플링을 연기한다.
• 분석적 업데이트를 사용하여 공액성을 유지하면서, 그래프를 통해 전방 필터링을 수행하여 근사된 조건부 분포를 계산한다.
• 분석적 오버로드가 없는 함수에 변수가 전달될 경우에만 뒤로 샘플링을 수행함으로써, 샘플링을 가능한 마지막 순간까지 연기한다.
• 켄타일러리어스 가족(예: 베타-이항, 감마-포아송)의 충분통계량을 유지하고 업데이트함으로써 라오–블랙웰라이제이션을 지원한다.
• SMC와 통합하여 국소적으로 최적의 제안 분포를 가능하게 하고, 입자 필터에서 매개변수를 근사함으로써 분산을 감소시킨다.

실험 결과

연구 질문

• RQ1 런타임에서 동적으로 분석적으로 다룰 수 있는 관계를 자동으로 식별하고 활용함으로써 몽테카를로 분산을 감소시킬 수 있는가?
• RQ2 지연 샘플링은 켄타일러리어스 구조를 포함한 모델에서 SMC 추론의 효율성을 어느 정도 향상시키는가?
• RQ3 동일한 추정 정확도를 확보하기 위해 지연 샘플링은 표준 SMC에 비해 얼마나 적은 수의 입자를 요구하는가?
• RQ4 지연 샘플링은 수동 모델 변형 없이도 복잡한 실제 모델(예: 전염병 상태공간 모델)에 적용 가능한가?
• RQ5 특히 고차원 또는 다변량 켄타일러리어스 설정에서 지연 샘플링의 계산적 트레이드오프는 어떠한가?

주요 결과

• 선형-비선형 상태공간 모델에서 지연 샘플링은 매개변수를 근사함으로써 라오–블랙웰라이제이션된 SMC를 가능하게 하여 로그우도 추정치의 분산을 감소시켰다.
• 마이크로네시아의 dengue 유행 모델에서 지연 샘플링은 의사-주변부 중요도 샘플러가 효율적으로 매개변수를 추정할 수 있도록 하여 안정적인 추정에 필요한 입자 수를 크게 감소시켰다.
• 지연 샘플링을 활성화한 경우, 그림 3(오른쪽)에 나타낸 100회의 SMC 실행 결과에서 주변부 우도 추정의 분산이 유사한 수준에 도달하기 위해 더 적은 수의 입자가 필요했다.
• 모델 코드의 수정 없이도 분산 감소를 달성함으로써, 추론 품질 향상이 자동으로 투명하게 이루어짐을 입증했다.
• 일변량 켄타일러리어스 가족의 경우 샘플당 일정한 계산 오버헤드가 발생했지만, 고정된 계산 예산에서 이는 가치가 있었다.
• 다변량 정규 분포 켄타일러리어스와 같은 다변량 설정에서는 행렬 역행렬 계산으로 인해 오버헤드가 증가하여 고차원 케이스에서는 잠재적인 트레이드오프가 있음을 시사했다.