[논문 리뷰] Stochastic Logic Programs: Sampling, Inference and Applications

James Cussens|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 6인용 수 43

한 줄 요약

이 논문은 변수 제거와 중요도 샘플링을 각각 정확한 추론과 근사 추론을 위해 사용하는 Stochastic Logic Programs (SLPs)에 대한 알고리즘을 제시한다. SLPs가 논리 프로그램과 베이지안 네트워크를 통해 기계 학습에서 사전 분포를 모델링할 수 있음을 보여주며, 사후 분포에서 샘플링하기 위해 메트로폴리스-하스팅스 알고리즘을 적용한다. 실용적 사용을 위한 Prolog 구현도 제공된다.

ABSTRACT

Algorithms for exact and approximate inference in stochastic logic programs (SLPs) are presented, based respectively, on variable elimination and importance sampling. We then show how SLPs can be used to represent prior distributions for machine learning, using (i) logic programs and (ii) Bayes net structures as examples. Drawing on existing work in statistics, we apply the Metropolis-Hasting algorithm to construct a Markov chain which samples from the posterior distribution. A Prolog implementation for this is described. We also discuss the possibility of constructing explicit representations of the posterior.

연구 동기 및 목표

• 정확한 추론과 근사 추론을 모두 지원하는 Stochastic Logic Programs (SLPs)에 대한 효율적인 추론 알고리즘 개발.
• 논리 프로그램과 베이지안 네트워크 구조를 사용하여 SLPs가 기계 학습에서 사전 분포를 어떻게 표현할 수 있는지 보여주기.
• 특히 메트로폴리스-하스팅스를 포함한 마르코프 체인 몬테카를로 방법을 사용하여 SLPs의 사후 분포에서 샘플링하기.
• SLPs의 추론과 샘플링을 위한 실용적인 Prolog 기반 구현 제공.
• SLPs에서 사후 분포의 명시적 표현을 구성하는 것이 가능한지 탐색하기.

제안 방법

• 조건부 독립성 구조를 활용하여 변수를 체계적으로 제거함으로써 SLPs에서 정확한 추론을 수행하기 위해 변수 제거 기법을 사용한다.
• 모델 하에서 표본의 가능도에 따라 가중치를 할당함으로써 근사 추론 방법으로 중요도 샘플링을 사용한다.
• SLP 파라미터에 대한 사후 분포로 수렴하는 마르코프 체인을 구성하기 위해 메트로폴리스-하스팅스 알고리즘을 적용한다.
• SLPs를 논리 규칙과 확률적 선택의 조합으로 표현하여 논리 프로그래밍과 확률적 그래픽 모델을 통합한다.
• 추론 및 샘플링 절차를 실행하기 위해 SLPs에서 실용적인 실험을 가능하게 하는 Prolog 구현을 개발한다.
• SLPs에서 매개변수 학습과 사후 계산을 처리하기 위해 기존 베이지안 추론의 통계 방법을 활용한다.

실험 결과

연구 질문

• RQ1 변수 제거를 사용하여 SLPs에서 정확한 추론을 효율적으로 수행할 수 있는 방법은 무엇인가?
• RQ2 중요도 샘플링이 SLPs에서 근사 추론 방법으로서 효과적인가?
• RQ3 메트로폴리스-하스팅스 알고리즘이 SLPs의 사후 분포에서 샘플링하기 위해 어떻게 적응될 수 있는가?
• RQ4 SLPs는 논리 프로그램과 베이지안 네트워크를 통해 기계 학습 과제에서 사전 분포를 어떤 방식으로 표현할 수 있는가?
• RQ5 SLPs에서 사후 분포의 명시적 표현을 구성하는 것은 가능한가? 그리고 그에 따른 계산적 트레이드오프는 무엇인가?

주요 결과

• 변수 제거 기법은 조건부 독립성 구조를 활용함으로써 SLPs에서 정확한 추론을 효율적으로 수행할 수 있다.
• 중요도 샘플링은 복잡하거나 고차원 모델에서 근사 추론을 위한 확장 가능한 대안을 제공한다.
• 메트로폴리스-하스팅스 알고리즘은 SLP 파라미터에 대한 사후 분포에서 유효한 샘플을 성공적으로 생성한다.
• SLPs는 논리 프로그램과 베이지안 네트워크 구조를 통해 사전 지식을 효과적으로 표현할 수 있어 기계 학습에서의 탄력적인 모델링을 가능하게 한다.
• Prolog 구현은 추론과 샘플링의 실용적 실행을 가능하게 하여 논리와 확률의 통합 가능성을 입증한다.
• 명시적 사후 표현은 이론적으로 가능하지만 계산적으로 도전적이며, 표현력과 실행 가능성 사이의 상충 관계를 시사한다.