[논문 리뷰] Adaptive MCMC-Based Inference in Probabilistic Logic Programs

Arun Nampally, C. R. Ramakrishnan|arXiv (Cornell University)|2014. 03. 24.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 6

한 줄 요약

이 논문은 확률적 논리 프로그램을 위한 적응형 MCMC 추론 기법을 제안하며, 이는 이전 샘플의 피드백에 기반해 무작위 변수의 제안 분포를 동적으로 조정한다. 보상 전파를 강화학습 기반으로 활용해 스위치 분포를 업데이트함으로써, 특히 낮은 증거 가능성 하에서 진짜 조건부 확률 분포로의 수렴 속도를 높인다. 실험 결과로는 마르코프 구조의 질의에서 수렴 속도 향상과 샘플 효율성 향상이 입증되었다.

ABSTRACT

Probabilistic Logic Programming (PLP) languages enable programmers to specify systems that combine logical models with statistical knowledge. The inference problem, to determine the probability of query answers in PLP, is intractable in general, thereby motivating the need for approximate techniques. In this paper, we present a technique for approximate inference of conditional probabilities for PLP queries. It is an Adaptive Markov Chain Monte Carlo (MCMC) technique, where the distribution from which samples are drawn is modified as the Markov Chain is explored. In particular, the distribution is progressively modified to increase the likelihood that a generated sample is consistent with evidence. In our context, each sample is uniquely characterized by the outcomes of a set of random variables. Inspired by reinforcement learning, our technique propagates rewards to random variable/outcome pairs used in a sample based on whether the sample was consistent or not. The cumulative rewards of each outcome is used to derive a new "adapted distribution" for each random variable. For a sequence of samples, the distributions are progressively adapted after each sample. For a query with "Markovian evaluation structure", we show that the adapted distribution of samples converges to the query's conditional probability distribution. For Markovian queries, we present a modified adaptation process that can be used in adaptive MCMC as well as adaptive independent sampling. We empirically evaluate the effectiveness of the adaptive sampling methods for queries with and without Markovian evaluation structure.

연구 동기 및 목표

• 증거의 확률이 낮을 경우 표준 MCMC 샘플링이 비효율적인 문제를 해결하기 위해, 특히 고기각률을 초래하는 상황에서의 효율성 저하를 개선한다.
• 마르코프 체인 탐색 중 제안 분포를 수정함으로써 증거와 일치하는 샘플을 선호하는 적응형 샘플링 기법을 개발한다.
• 누적 보상의 학습을 통해 랜덤 변수 결과의 누적 보상을 기반으로 조건부 확률 분포로의 수렴 속도를 가속화한다.
• 마르코프 평가 구조를 가진 질의에 대해 적응형 독립 샘플링을 지원할 수 있도록 기법을 확장한다.
• 수렴 속도와 계산 비용 측면에서 비적응형 샘플링과의 성능을 실증적으로 평가한다.

제안 방법

• 각 상태가 프로그램 내 랜덤 변수(스위치)의 결과에 의해 정의되는 샘플에 대응하는 마르코프 체인을 사용한다.
• 각 샘플 이후, 샘플이 증거를 만족하는지 여부에 따라 스위치-결과 쌍에 보상을 전파한다; 일치하는 샘플은 양의 보상을 받는다.
• 각 결과에 대한 누적 보상은 해당 스위치의 제안 분포를 업데이트하는 데 사용되며, 향후 샘플링에서 고보상 결과를 선호한다.
• 적응 과정은 각 샘플 이후 반복적으로 적용되어 점차적으로 제안 분포를 증거와 일치하는 상태공간 영역으로 이동시킨다.
• 마르코프 질의의 경우, 수정된 적응 과정을 통해 적응형 MCMC와 적응형 독립 샘플링 프레임워크 양쪽 모두에서 사용할 수 있다.
• 상호 배제성 보장을 위해 프로로그 스타일 평가를 활용함으로써 설명력 역사 추적의 필요성을 제거한다.

실험 결과

연구 질문

• RQ1 낮은 가능성의 증거를 가진 확률적 논리 프로그램에서 조건부 질의에 대해 적응형 MCMC 샘플링이 수렴 속도를 향상시킬 수 있는가?
• RQ2 샘플 일치성 기반 보상 전파가 근사 추론의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ3 어떤 조건에서 적응된 분포가 진짜 조건부 확률 분포로 수렴하는가?
• RQ4 적응 메커니즘이 독립 샘플링과 MCMC 샘플링 양쪽 모두에 일반화될 수 있는가?
• RQ5 수렴 속도와 계산 비용 측면에서 적응형 샘플링은 비적응형 샘플링보다 어떻게 성능이 뛰어나게 되는가?

주요 결과

• 낮은 증거 가능성의 질의에서 비적응형 MCMC에 비해 적응형 MCMC가 더 빠른 수렴 속도를 보였다. 예를 들어, 증거 확률이 0.02882인 P(reach(a,d) | reach(a,e)) 질의에서 그러한 경향을 보였다.
• 도달 가능성 질의에서 비적응형 샘플링의 기각률 8%를 적응형 샘플링이 1.5%로 감소시켜 샘플 효율성을 향상시켰다.
• 균형 잡힌 괄호 문자열 질의에서는 반복당 처리 속도가 거의 두 배 느리지만, 적응형 샘플링이 더 빠른 수렴을 보였으며, 이는 네트워크 성능 향상으로 이어졌다.
• 이론적으로 증명된 lin에 따라, 마르코프 평가 구조를 가진 질의에서 진짜 조건부 확률 분포로의 수렴을 달성하였다.
• 실증 결과로는, 표준 MCMC가 고기각률을 겪는 고차원 또는 증거가 희박한 상황에서 적응형 샘플링이 더 효과적임을 입증하였다.
• 일반적인 확률적 논리 프로그램에 적용 가능한 바탕으로, 공동 분포의 명시적 인수분해가 없어도 적응 메커니즘이 효과적이라는 점을 확인하였다.