[논문 리뷰] Church: a language for generative models

Noah D. Goodman, Vikash K. Mansinghka외 3명|arXiv (Cornell University)|2012. 06. 13.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 507

한 줄 요약

Church는 릿지 기반의 확률적 프로그래밍 언어로, 확률적 람다 계산을 사용하여 복잡한 생성 모델을 정의할 수 있다. stochastic memoizer를 도입하여 비모수 모델을 단순화하고, 몬테카를로 방법을 통한 정확한 및 근사 추론을 지원함으로써 다양한 AI 응용 분야(클러스터링, 계획, 계층적 모델링 포함)에서 민첩하고 확장 가능한 베이지안 추론을 가능하게 한다.

ABSTRACT

We introduce Church, a universal language for describing stochastic generative processes. Church is based on the Lisp model of lambda calculus, containing a pure Lisp as its deterministic subset. The semantics of Church is defined in terms of evaluation histories and conditional distributions on such histories. Church also includes a novel language construct, the stochastic memoizer, which enables simple description of many complex non-parametric models. We illustrate language features through several examples, including: a generalized Bayes net in which parameters cluster over trials, infinite PCFGs, planning by inference, and various non-parametric clustering models. Finally, we show how to implement query on any Church program, exactly and approximately, using Monte Carlo techniques.

연구 동기 및 목표

• 일관되고 조합 가능한 방식으로 임의의 스토케스틱 생성 과정을 기술하기 위한 보편적 언어를 설계하는 것.
• Lisp 기반의 문법과 의미론을 통해 기능적 프로그래밍과 확률적 추론를 통합하는 것.
• 무한 혼합 모델 및 클러스터링과 같은 비모수 베이지안 모델의 간결한 모델링을 가능하게 하는 것.
• 실제 구현을 위해 몬테카를로 기법을 통한 정확한 및 근사 추론을 지원하는 것.
• 평가력 기록과 조건부 분포에 기반한 공식적인 의미론을 제공하여 모델의 타당한 해석을 보장하는 것.

제안 방법

• Church는 람다 계산의 확장으로, 무작위 선택을 기능적 표현식 내에 통합할 수 있도록 스토케스틱 프리미티브를 도입한다.
• 평가력 기록과 이러한 기록에 대한 조건부 분포를 정의하여 확률적 계산을 모델링하는 의미론을 정의한다.
• 비모수 분포의 효율적 모델링을 위해 캐시 및 재사용된 무작위 값을 제공하는 핵심 언어 구성요소로 stochastic memoizer를 도입한다.
• 고차수 함수와 클로저를 지원하여 복잡한 스토케스틱 과정의 재귀적 및 매개변수 기반 모델링을 가능하게 한다.
• 질의에 대한 답변을 위해 마르코프 체인 몬테카를로(MCMC) 및 기타 몬테카를로 기법을 사용하여 추론을 구현한다.
• 정확한 추론(열거를 통한)과 근사 추론(샘플링을 통한)을 모두 지원하며, 새로운 추론 알고리즘에 대한 확장성도 제공한다.

실험 결과

연구 질문

• RQ1 일반 목적의 프로그래밍 언어에 임의의 생성 과정을 모델링할 수 있는 일급 스토케스틱 프리미티브를 어떻게 통합할 수 있는가?
• RQ2 기능적 언어에서 타당하고 조합 가능한 확률적 추론을 뒷받침하는 형식적 의미론은 무엇인가?
• RQ3 무한 혼합 모델과 같은 비모수 모델은 어떻게 간결하고 효율적으로 표현할 수 있는가?
• RQ4 단일 언어와 추론 프레임워크로 계획 및 계층적 모델링을 포함한 다양한 확률적 모델링 작업을 통합할 수 있는가?
• RQ5 복잡하고 재귀적인 확률적 프로그램에서 확장 가능하고 유연한 추론을 가능하게 하는 메커니즘은 무엇인가?

주요 결과

• Church는 무한 PCFG 및 클러스터링 모델과 같은 복잡한 비모수 모델을 최소한의 문법적 오버헤드로 정의할 수 있다.
• Stochastic memoizer는 공유된 무작위 변수와 무한 차원 분포를 자연스럽고 효율적으로 표현할 수 있도록 한다.
• 언어는 정확한 추론과 근사 추론을 모두 지원하며, 몬테카를로 기법을 통해 큰 또는 복잡한 모델에 대해 확장 가능한 해결책을 제공한다.
• Church의 의미론은 평가력 기록과 조건부 분포에 기반하여 확률적 프로그램의 타당한 해석을 보장한다.
• 계층적 베이지안 네트워크를 매개변수의 클러스터링을 통해 여러 시행에 걸쳐 모델링함으로써, 구조적 불확실성을 모델링하는 데서의 유연성을 입증한다.
• 기능적 프로그래밍과 확률적 추론의 통합은 다양한 AI 응용 분야에서 표현력 있고 모듈화되고 재사용 가능한 확률적 모델을 가능하게 한다.