[논문 리뷰] A Dynamic Programming Algorithm for Inference in Recursive Probabilistic Programs

Andreas Stuhlmüller, Noah D. Goodman|arXiv (Cornell University)|2012. 06. 15.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 23

한 줄 요약

이 논문은 재귀적 확률 프로그램에서 정확한 추론을 가능하게 하는 동적 프로그래밍 알고리즘을 제시한다. 이 알고리즘은 프로그램을 요소 합-곱 신경망(FSPN)으로 컴파일하여, 하위 분포 간의 의존성—포함된 순환도 포함—을 명시적으로 모델링한다. 알고리즘은 위상순서로 정렬된 강하게 연결된 성분(SCC)에 대해 고정점 반복을 수행함으로써 이러한 문제를 해결하며, 이는 이전 방법이 실패하는 증거 무한성 케이스에서도 효율적인 마진화를 가능하게 한다.

ABSTRACT

We describe a dynamic programming algorithm for computing the marginal distribution of discrete probabilistic programs. This algorithm takes a functional interpreter for an arbitrary probabilistic programming language and turns it into an efficient marginalizer. Because direct caching of sub-distributions is impossible in the presence of recursion, we build a graph of dependencies between sub-distributions. This factored sum-product network makes (potentially cyclic) dependencies between subproblems explicit, and corresponds to a system of equations for the marginal distribution. We solve these equations by fixed-point iteration in topological order. We illustrate this algorithm on examples used in teaching probabilistic models, computational cognitive science research, and game theory.

연구 동기 및 목표

• 내부 조건과 자기 재귀로 인해 난이도가 높아지는 재귀적 확률 프로그램에서 정확한 추론을 해결하기 위한 도전에 대응한다.
• 기존 동적 프로그래밍 방법이 비순환 계산 그래프를 요구하고 증거 무한성 계산을 처리할 수 없기에 발생하는 한계를 극복한다.
• 서로 순환적으로 의존하는 하위 분포가 존재하더라도, 재귀 호출 간에 공유되는 하위 구조를 활용하여 확률 프로그램의 효율적 마진화를 가능하게 한다.
• 모델 특화 추론 알고리즘을 요구하지 않고도 작동하는 일반적인 솔루션을 제공한다. 이는 이식 가능한 기능 인터프리터를 사용한 이산 확률 프로그래밍 언어와 호환된다.
• 교육, 인지 과학, 게임 이론 분야의 실용적 응용을 지원하기 위해, 소규모이지만 구조적으로 복잡한 모델에서 정확한 추론을 가능하게 한다.

제안 방법

• 확률 프로그램을 요소 합-곱 신경망(FSPN)으로 컴파일하여, 하위 분포 간의 의존성—자기 재귀 포함—을 실체화한다.
• 하위 분포 간의 의존성 그래프를 구성하여 마진 분포를 결정하는 방정식 체계를 표현한다.
• 순환 의존성을 다루기 위해 의존성 그래프의 정점들을 강하게 연결된 성분(SCC)으로 군집화한다.
• 각 SCC 내에서 방정식 체계를 고정점 반복을 통해 해결하여 수렴을 보장하고 정확한 마진 분포를 확보한다.
• SCC의 위상순서를 이용하여 고정점 반복 중 의존성 순서를 존중하는 방식으로 성분을 처리한다.
• 인터프리터의 재귀적 구조를 활용하여 자동으로 재사용 가능한 하위 계산을 노출함으로써, 추론 로직을 하드코딩하지 않고도 효율적인 마진화를 달성한다.

실험 결과

연구 질문

• RQ1 스토케스틱 자기 재귀와 증거 무한성 계산을 포함하는 재귀적 확률 프로그램에서 정확한 추론을 효율적으로 수행할 수 있는가?
• RQ2 동적 프로그래밍을 어떻게 일반화하여 확률 프로그램에서 하위 분포 간 순환 의존성을 다룰 수 있는가?
• RQ3 모델 특화 최적화 없이도 기능 인터프리터에서 일반적인 추론 알고리즘을 얼마나 잘 구성할 수 있는가?
• RQ4 내부 조건이 있는 소규모 복잡한 모델에서 이 방법이 거부 샘플링과 MCMC에 비해 얼마나 높은 성능 향상을 보이는가?
• RQ5 이 방법은 블루아이랜드 이주민 퍼즐과 같이 정확한 추론이 이전에는 비가능한 고전적 문제를 다룰 수 있는가?

주요 결과

• 알고리즘은 이전의 동적 프로그래밍 방법인 IBAL과 PRISM가 처리할 수 없는 증거 무한성 계산을 포함한 재귀적 확률 프로그램에 대해 정확한 마진 분포를 성공적으로 계산한다.
• MCMC와 거부 샘플링가 폭발적인 거부 비율로 실패하는 상황에서, 이 방법은 인구 수 4인 블루아이랜드 이주민 퍼즐에 대해 정확한 추론을 수행할 수 있다.
• 위상순서로 정렬된 강하게 연결된 성분에 대해 고정점 반복을 수행함으로써, 하위 분포 간 순환 의존성 존재하더라도 정확한 마진 분포로 수렴한다.
• 서브 계산을 공유하고 중복 경로 탐색을 방지함으로써, 난이도 높은 추론과 거부 샘플링보다 알고리즘이 우수한 성능을 보인다.
• 이 방법은 합-곱 신경망을 재귀적이고 순환적 의존성까지 처리할 수 있도록 일반화하여, 더 넓은 범위의 확률 프로그램에 적용 가능성을 확장한다.
• 실험적 평가 결과, 이 알고리즘은 소규모이지만 복잡한 구조를 가진 모델에 대해 스케일링 가능하며, 인지 과학 및 게임 이론 분야의 교육 및 연구에 적합하다.