[논문 리뷰] Divide, Conquer, and Combine: a New Inference Strategy for Probabilistic Programs with Stochastic Support

Yuan Zhou, Hongseok Yang외 2명|arXiv (Cornell University)|2020. 07. 12.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 모델의 구조가 실행 간에 변화하는 확률적 프로그램을 위한 새로운 추론 프레임워크인 Divide, Conquer, and Combine(DCC)을 제안한다. 추론을 모듈화되고 재사용 가능한 구성 요소로 분해하고, 결과를 가중 평균으로 조합함으로써 DCC는 기존 방법보다 뚜렷이 뛰어난 성능을 보이며, 비표준 모델에서 특히 두각을 나타낸다. 세 가지 벤치마크 예제에서 상당한 성능 향상을 입증하였다.

ABSTRACT

Universal probabilistic programming systems (PPSs) provide a powerful framework for specifying rich probabilistic models. They further attempt to automate the process of drawing inferences from these models, but doing this successfully is severely hampered by the wide range of non--standard models they can express. As a result, although one can specify complex models in a universal PPS, the provided inference engines often fall far short of what is required. In particular, we show that they produce surprisingly unsatisfactory performance for models where the support varies between executions, often doing no better than importance sampling from the prior. To address this, we introduce a new inference framework: Divide, Conquer, and Combine, which remains efficient for such models, and show how it can be implemented as an automated and generic PPS inference engine. We empirically demonstrate substantial performance improvements over existing approaches on three examples.

연구 동기 및 목표

• 실행 간에 서포트가 변하는 모델에서 유니버설 확률적 프로그래밍 시스템(PPS)의 열악한 추론 성능를 해결한다.
• 이러한 모델에서 기존 추론 엔진이 종종 사전 분포에서의 중요도 샘플링으로 떨어지는 한계를 극복한다.
• 비표준 모델에서도 효율성과 정확성을 유지하는, 일반적이고 자동화된 추론 엔진을 개발한다.
• 동적 조건부 또는 분기 구조를 포함하는 모델처럼 실행 간에 모델 구조가 고정되지 않는 확률적 프로그램에서 확장 가능하고 강력한 추론을 가능하게 한다.

제안 방법

• 실행 경로에 따라 조건부로 독립적인 구성 요소로 모델을 분할함으로써 추론 문제를 더 작은, 다룰 수 있는 부분 문제로 분해한다.
• 각 부분 문제에 대해 전문화된 추론 기법(예: MCMC, 변분 추론)을 독립적으로 적용하여 구성 요소별 맞춤형 방법을 허용한다.
• 각 부분 문제를 로컬 구조에 최적화된 효율적인 추론 알고리즘을 사용하여 해결한다.
• 각 실행 경로의 가능성을 고려하여 결과를 가중 평균 방식으로 조합한다.
• 정적 프로그램 분석을 통해 분해 포인트와 경로 확률을 식별함으로써, 유니버설 PPS 내에서 전체 파이프라인을 자동화한다.
• 분해 및 재결합 단계에서 확률적 일관성을 유지함으로써 정확성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 실행 간에 서포트가 변하는 확률적 프로그램에서 추론을 어떻게 효율적이고 정확하게 수행할 수 있는가?
• RQ2 제안된 Divide, Conquer, and Combine 프레임워크는 스토케스틱 서포트를 가진 모델에서 기존 추론 엔진보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ3 다양한 비표준 확률적 모델에 걸쳐 확장 가능한 일반적이고 자동화된 추론 전략을 설계할 수 있는가?
• RQ4 경로별 추론과 가중 조합이 전체 추론 품질과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• DCC 프레임워크는 스토케스틱 서포트를 가진 세 가지 벤치마크 모델에서 기존 추론 방법보다 상당한 성능 향상을 달성한다.
• 실행 간 서포트가 변하는 모델에서 DCC는 일반적인 PPS 추론 엔진이 종종 사전 분포에서 중요도 샘플링으로 떨어지는 성능 저하를 피한다.
• 스토케스틱 분기나 조건문을 포함한 동적 구조를 가진 복잡한 모델에서도 높은 정확도와 효율성을 유지한다.
• 실험적 평가 결과, DCC는 기준 방법 대비 추론 오차를 감소시키고 수렴 속도를 향상시킴을 확인하였다.
• 분해 및 재결합 전략을 통해 각 하위모델에 맞는 전문화된 추론 기법을 효과적으로 활용함으로써 전체 추론 품질을 향상시킨다.
• 이 방법은 완전히 자동화되고 일반적이므로, 모델 전용 튜닝 없이도 다양한 유니버설 PPS에 적용 가능하다.