[논문 리뷰] Parameter Learning in PRISM Programs with Continuous Random Variables

Muhammad Asiful Islam, C. R. Ramakrishnan외 1명|arXiv (Cornell University)|2012. 03. 19.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 가우시안 랜덤 변수와 선형 등식 제약 조건을 추가한 PRISM 프로그램을 위한 기반 EM 알고리즘을 제안한다. 기존의 증명 집합을 열거하지 않고 기호적 유도를 통해 표현함으로써, 이 방법은 이산 변수와 가우시안 변수 양쪽에 대해 기대 충분통계량(Expected Sufficient Statistics, ESS)을 기호적으로 계산하며, 유한 혼합 모델과 칼ман 필터와 같은 모델에서 효율적인 학습을 가능하게 한다.

ABSTRACT

Probabilistic Logic Programming (PLP), exemplified by Sato and Kameya's PRISM, Poole's ICL, De Raedt et al's ProbLog and Vennekens et al's LPAD, combines statistical and logical knowledge representation and inference. Inference in these languages is based on enumerative construction of proofs over logic programs. Consequently, these languages permit very limited use of random variables with continuous distributions. In this paper, we extend PRISM with Gaussian random variables and linear equality constraints, and consider the problem of parameter learning in the extended language. Many statistical models such as finite mixture models and Kalman filter can be encoded in extended PRISM. Our EM-based learning algorithm uses a symbolic inference procedure that represents sets of derivations without enumeration. This permits us to learn the distribution parameters of extended PRISM programs with discrete as well as Gaussian variables. The learning algorithm naturally generalizes the ones used for PRISM and Hybrid Bayesian Networks.

연구 동기 및 목표

• 복잡한 통계 모델을 지원하기 위해 PRISM에 연속형 랜덤 변수(가우시안 및 선형 제약 조건)를 확장하기.
• 기존 PLP 프레임워크가 열거 기반의 유도 구성에 의존함으로써 연속 분포를 처리하는 데 한계가 있음을 해결하기.
• 기호적 표현을 사용하여 명시적 유도 열거를 피하는 파rameter 학습 알고리즘 개발하기.
• PRISM 및 하이브리드 베이지안 네트워크를 위한 기존 EM 기반 학습 기법을 연속형 변수를 포함한 모델로 일반화하기.
• 이산 및 가우시안 분포를 조합한 하이브리드 모델(예: 혼합 성분이 혼합된 유한 혼합 모델 등)에서의 학습 가능하게 하기.

제안 방법

• 하이브리드 통계 시스템을 모델링하기 위해 PRISM에 가우시안 분포를 가진 랜덤 변수와 선형 등식 제약 조건을 확장하기.
• 유도의 수가 많거나 무한한 집합을 열거하지 않고도 표현할 수 있는 기호적 유도 도입하기.
• 기호적 통합과 대수적 연산을 사용하여 이산 변수와 가우시안 변수 양쪽에 대해 기대 충분통계량(ESS) 함수를 기호적으로 정의하기.
• 개별 경로의 열거를 피하기 위해 질의 유도와 증거를 기반으로 기호적 ESS 값을 계산하는 E단계 적용하기.
• 기호적 ESS에서 유도된 닫힌 형태의 업데이트를 사용하여 모델 파ram터(예: 평균, 분산, 혼합 가중치)를 업데이트하는 M단계 적용하기.
• PRISM의 분포 의미론과 독립성/상호배타성 가정을 활용하여 기호적 ESS 계산의 정확성을 보장하기.

실험 결과

연구 질문

• RQ1 기호적 유도 표현은 연속형 랜덤 변수를 포함한 PRISM 프로그램에서 효율적인 파rameter 학습을 가능하게 할 수 있는가?
• RQ2 기존의 유도 열거 없이 가우시안 변수에 대해 기대 충분통계량(ESS)을 기호적으로 어떻게 계산할 수 있는가?
• RQ3 제안된 방법은 PRISM 및 하이브리드 베이지안 네트워크를 위한 기존 EM 알고리즘의 어느 정도까지 일반화하는가?
• RQ4 이 프레임워크는 연속형 변수를 포함한 모델(예: 혼합 모델과 칼만 필터)의 파라미터를 학습할 수 있는가?
• RQ5 기호적 추론은 하이브리드 확률적 논리 프로그램에서 확장성과 정확성에 어떤 영향을 미치는가?

주요 결과

• 가우시안 변수에 대한 기호적 ESS 계산 결과는 기존의 유한 혼합 모델에서 표준 EM에 사용되는 사후 책임도구와 정확히 일치한다.
• 기호적 ESS에서 유도된 혼합 가중치, 평균, 분산 업데이트를 사용하여 가우시안 성분을 포함한 유한 혼합 모델의 파라미터를 성공적으로 학습하였다.
• PRISM에 인코딩된 HMM에 대한 Baum-Welch 알고리즘을 일반화하여, 기존의 확률 모델과의 호환성을 입증하였다.
• 기존의 하이브리드 베이지안 네트워크를 초월하여 이산 및 가우시안 성분을 모두 포함한 혼합 모델과 같은 하이브리드 모델을 지원한다.
• 기호적 ESS 계산은 유도의 열거를 피함으로써, 잠재적으로 무한한 유도 집합을 포함한 모델에서의 학습을 가능하게 한다.
• 알고리즘은 PRISM의 분포 의미론에 기반하여 엄밀하게 정립되었으며, 독립성 및 상호배타성 가정 하에서 정확성을 유지한다.