[논문 리뷰] Using probabilistic programs as proposals

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|2018. 01. 11.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 5

한 줄 요약

이 논문은 '제안 프로그램(proposal programs)'을 도입한다. 이는 사용자가 사후 분포에 대한 지식을 확률적 프로그램으로 표현하여 몬테카를로 추론을 향상시키는 것이다. 도메인 특화 히우리즘(예: RANSAC)과 신경망을 결합함으로써, 중요도 샘플링과 메트로폴리스-해스팅스에 대해 효율적이고 일관된 제안 분포를 생성하며, 점진적 일관성을 유지하면서 온라인 최적화를 위해 확률적 경사 하강법을 사용할 수 있다.

ABSTRACT

Monte Carlo inference has asymptotic guarantees, but can be slow when using generic proposals. Handcrafted proposals that rely on user knowledge about the posterior distribution can be efficient, but are difficult to derive and implement. This paper proposes to let users express their posterior knowledge in the form of proposal programs, which are samplers written in probabilistic programming languages. One strategy for writing good proposal programs is to combine domain-specific heuristic algorithms with neural network models. The heuristics identify high probability regions, and the neural networks model the posterior uncertainty around the outputs of the algorithm. Proposal programs can be used as proposal distributions in importance sampling and Metropolis-Hastings samplers without sacrificing asymptotic consistency, and can be optimized offline using inference compilation. Support for optimizing and using proposal programs is easily implemented in a sampling-based probabilistic programming runtime. The paper illustrates the proposed technique with a proposal program that combines RANSAC and neural networks to accelerate inference in a Bayesian linear regression with outliers model.

연구 동기 및 목표

• 효율적인 제안 분포를 설계하는 데 있어 몬테카를로 추론에서 정확성과 확장성을 동시에 확보하는 도전 과제를 해결하기 위해.
• 사용자가 수작업으로 제안 분포를 코딩하는 대신, 실행 가능한 확률적 프로그램을 통해 사후 분포의 구조에 대한 도메인 특화 지식을 표현할 수 있도록 하기 위해.
• 중요도 샘플링과 메트로폴리스-해스팅스에서 이러한 프로그램을 제안 분포로 사용하기 위한 공식적 프레임워크를 제공하여 점진적 일관성을 손상시키지 않기 위해.
• 확률적 경사 하강법을 사용하여 제안 프로그램의 파라미터를 효과적으로 오프라인으로 학습할 수 있는 최적화 절차를 개발하기 위해.
• 복잡한 모델에서 추론을 가속화하기 위해 히우리즘 알고리즘과 신경망을 제안 프로그램에 통합한 실용적 효과를 입증하기 위해.

제안 방법

• 제안 프로그램은 지정된 출력 선택과 내부 랜덤 선택을 가진 확률적 프로그램으로 정의되며, 실행 중에 제안 확률이 추정된다.
• 이 방법은 중요도 샘플링과 메트로폴리스-해스팅스에서 이러한 프로그램을 제안 분포로 사용할 수 있도록 지원하며, 점진적 일관성에 대한 이론적 보장이 있다.
• 제안 프로그램의 파라미터를 학습하기 위한 오프라인 학습 절차로 확률적 경사 하강법 알고리즘을 제안하며, 몬테카를로 변분 목표 함수를 사용한다.
• 이 방법은 랜덤화된 히우리즘 알고리즘(예: RANSAC)을 사용해 사후 분포의 고확률 영역을 식별하고, 신경망을 사용해 그 주변의 불확실성을 모델링한다.
• 샘플링 기반 확률적 프로그래밍 런타임 환경에서의 구현을 지원하며, Gen.jl(자바 스크립트 기반 확률적 언어)에서의 예제 코드가 포함되어 있다.
• 이 프레임워크는 내재된 추론과 다른 트레이스 분포를 활용하여 제안 확률 추정을 향상시키는 데에 유용하며, 기존의 추론 기반 기능을 활용할 수 있다.

실험 결과

연구 질문

• RQ1 몬테카를로 추론에서 제안 분포로 확률적 프로그램을 사용할 수 있는가? 이때 점진적 일관성이 유지되는가?
• RQ2 제안 프로그램 내에서 도메인 특화 히우리즘 알고리즘을 신경망과 통합하여 샘플링 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 확률적 경사 하강법을 사용하여 제안 프로그램의 파라미터를 효과적으로 오프라인으로 학습할 수 있는 최적화 절차는 무엇인가?
• RQ4 시뮬레이션 및 평가 절차에서 내부 복제 수가 제안 프로그램을 사용한 몬테카를로 추론의 효율성에 어떤 영향을 미치는가?
• RQ5 기본 추론 엔진을 수정하지 않고도 샘플링 기반 확률적 프로그래밍 런타임 환경에서 제안 프로그램을 효율적으로 구현할 수 있는가?

주요 결과

• 제안 프로그램은 정확한 제안 확률 대신 추정된 제안 확률을 사용하더라도 중요도 샘플링과 메트로폴리스-해스팅스 알고리즘에서 점진적 일관성을 유지한다.
• 제안된 확률적 경사 하강법을 통한 오프라인 최적화 절차를 통해 제안 프로그램의 파라미터를 효율적으로 학습할 수 있으며, 실무에서 수렴 속도와 정확도가 향상된다.
• 제안 프로그램 내에서 RANSAC과 신경망을 조합하면, 이상치가 있는 베이지안 선형 회귀 모델에서 추론 속도가 크게 향상된다.
• 제안 프로그램 내에서 임의의 내부 랜덤 선택을 허용함으로써, 대상 모델의 구조와 독립적인 복잡하고 구조화된 제안 분포를 생성할 수 있다.
• 이 프레임워크는 확장 가능하며, 런타임에 대한 최소한의 수정으로 기존의 확률적 프로그래밍 시스템에 통합할 수 있다.
• 향후 연구에서는 내재된 추론과 다른 트레이스 분포를 활용하면 제안 확률 추정과 샘플링 효율성이 더욱 향상될 수 있다.