[논문 리뷰] MultiVerse: Causal Reasoning using Importance Sampling in Probabilistic Programming

Yura Perov, Logan Graham외 5명|arXiv (Cornell University)|2019. 10. 17.

Bayesian Modeling and Causal Inference참고 문헌 52인용 수 11

한 줄 요약

MultiVerse는 최적화된 중요도 샘플링을 사용하여 원인 추론, 특히 반대가정 추론을 가속화하는 확률적 프로그래밍 프레임워크를 소개한다. 게으른 평가와 조건부 실행 블록을 기반으로 한 추론 아키텍처는 중복 계산을 줄이며, 벤치마크 실험에서 Pyro보다 빠른 추론 성능을 달성한다. 이는 고유하게 추론, 간섭, 예측 단계를 지원한다.

ABSTRACT

We elaborate on using importance sampling for causal reasoning, in particular for counterfactual inference. We show how this can be implemented natively in probabilistic programming. By considering the structure of the counterfactual query, one can significantly optimise the inference process. We also consider design choices to enable further optimisations. We introduce MultiVerse, a probabilistic programming prototype engine for approximate causal reasoning. We provide experimental results and compare with Pyro, an existing probabilistic programming framework with some of causal reasoning tools.

연구 동기 및 목표

• 중요도 샘플링을 활용하여 확률적 프로그래밍에서 효율적인 반대가정 추론을 가능하게 하기 위해.
• 반대가정 쿼리 중 모든 모델 변수에 대해 추론을 낭비 없이 적용할 경우 발생하는 계산 비효율성 문제를 해결하기 위해.
• 세 단계 반대가정 과정(추론, 간섭, 예측)을 네이티브로 지원하는 시스템을 설계하기 위해.
• 필요한 시점에만 계산을 연기함으로써 추론 성능을 최적화하기 위해.
• 최소한의 사용자 오버헤드로 Python에서 원인 쿼리를 지원하는 프로토타입 엔진을 제공하기 위해.

제안 방법

• 프레임워크는 세 단계 반대가정 추론 파이프라인을 구현한다: 추론(잠재 변수에 대한 사후 추론), 간섭(do-연산자를 사용해 변수 값을 고정), 예측(간섭된 세계에서 결과 추정).
• 추론 단계에서 중요도 샘플링을 사용하여 사후 분포를 근사함으로써, 복잡한 모델에서의 확장 가능한 추론을 가능하게 한다.
• 게으른 평가 메커니즘을 통해 변수가 실제로 필요할 때만 계산되도록 하여, 추론 중 불필요한 계산을 줄인다.
• 관측 및 간섭 로직이 필요한 경우에만 실행되는 조건부 실행 블록(IF_OBSERVE_BLOCK 및 IF_DO_BLOCK)을 사용함으로써 효율성을 향상시킨다.
• 확률적 절차를 위한 추적 기반 주소 체계를 도입하여, 추론 단계 전반에 걸쳐 변수 값과 간섭을 일관되게 추적할 수 있도록 한다.
• Python과 통합되어 사용자가 표준 문법으로 확률적 프로그램을 작성할 수 있으며, 고유한 제어 흐름을 통해 최적화된 반대가정 쿼리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 확률적 프로그래밍에서 반대가정 추론에 중요도 샘플링을 효율적으로 적용하는 방법은 무엇인가?
• RQ2 반대가정 쿼리의 구조적 특징에서 유도할 수 있는 추론 비용 절감 최적화는 무엇인가?
• RQ3 게으른 평가와 조건부 실행 블록이 원인 추론에서 추론 성능을 크게 향상시킬 수 있는가?
• RQ4 사용자 정의 확률적 프로그래밍 엔진(MultiVerse)의 성능이 Pyro와 같은 기존 프레임워크보다 반대가정 추론 작업에서 어떻게 비교되는가?
• RQ5 추론, 간섭, 예측을 네이티브로 통합하는 것이 일반 목적의 확률적 프로그래밍 시스템에 얼마나 잘 적용될 수 있는가?

주요 결과

• MultiVerse는 변수가 실제로 필요한 순간까지 계산을 연기함으로써 복잡한 모델, 특히 많은 잠재 변수를 가진 모델에서 추론 시간을 크게 단축시킨다.
• 조건부 실행 블록(IF_OBSERVE_BLOCK 및 IF_DO_BLOCK)을 사용함으로써 관측 및 간섭 로직이 필요할 때만 실행되어 중복 계산을 최소화한다.
• 최적화된 MultiVerse 버전은 표준 MultiVerse 및 Pyro 모두를 추월하여, 고차원 또는 복잡한 모델 환경에서 빠른 추론 성능을 보였다.
• 프레임워크는 하나의 확장 가능한 확률적 프로그래밍 인터페이스 내에서 추론, 간섭, 예측의 전반적인 반대가정 추론 파이프라인을 성공적으로 지원한다.
• 추적 기반 주소 체계와 compute_procedure_if_necessary를 활용하여 간섭되거나 관측된 변수의 재계산을 방지함으로써 효율성과 정확성을 향상시켰다.
• 프로토타입은 일반 목적의 Python 기반 구현에서도 구조적 최적화의 성능 향상 효과가 측정 가능하고 실용적임을 보여주었다.