[論文レビュー] Parameter Learning in PRISM Programs with Continuous Random Variables

Muhammad Asiful Islam, C. R. Ramakrishnan+1 more|arXiv (Cornell University)|Mar 19, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用数 4

ひとこと要約

本稿では、ガウス確率変数および線形等式制約を拡張したPRISMプログラム向けに、EMに基づくパrameter学習アルゴリズムを提示する。導出の列挙を避けるために記号的導出を用いることで、離散変数およびガウス変数の両方について、期待十分統計量（ESS）を記号的に計算する。これにより、有限混合モデルやカルマンフィルタのようなモデルにおける効率的な学習が可能となる。

ABSTRACT

Probabilistic Logic Programming (PLP), exemplified by Sato and Kameya's PRISM, Poole's ICL, De Raedt et al's ProbLog and Vennekens et al's LPAD, combines statistical and logical knowledge representation and inference. Inference in these languages is based on enumerative construction of proofs over logic programs. Consequently, these languages permit very limited use of random variables with continuous distributions. In this paper, we extend PRISM with Gaussian random variables and linear equality constraints, and consider the problem of parameter learning in the extended language. Many statistical models such as finite mixture models and Kalman filter can be encoded in extended PRISM. Our EM-based learning algorithm uses a symbolic inference procedure that represents sets of derivations without enumeration. This permits us to learn the distribution parameters of extended PRISM programs with discrete as well as Gaussian variables. The learning algorithm naturally generalizes the ones used for PRISM and Hybrid Bayesian Networks.

研究の動機と目的

• 連続確率変数（ガウス分布および線形制約）をPRISMに拡張し、複雑な統計的モデルをサポートすること。
• 従来のPLPフレームワークが列挙に基づく導出構築に依存しているため、連続分布の取り扱いに限界がある問題に対処すること。
• 列挙を避けるために記号的表現を用いることで、明示的な導出列挙を回避するパrameter学習アルゴリズムの開発。
• PRISMおよびハイブリッドベイズネットワーク向けに既存のEMベースの学習手法を、連続変数を含むモデルに一般化すること。
• 離散分布とガウス分布を組み合わせたハイブリッドモデル（例：混合成分に混合分布を含む有限混合モデル）における学習を可能にすること。

提案手法

• ハイブリッド統計的システムをモデル化するため、PRISMにガウス分布に従う確率変数および線形等式制約を拡張する。
• 列挙を伴わずに、巨大または無限大の従来の導出集合を表す記号的導出を導入する。
• 記号的積分と代数的操作を用いて、離散変数およびガウス変数の両方について、期待十分統計量（ESS）関数を記号的に定義する。
• Eステップにおいて、クエリの導出と証拠に基づいて、個々のパスの列挙を避けて記号的ESS値を計算する。
• Mステップにおいて、記号的ESSから導かれた閉形式の更新式を用いて、モデルパラメータ（例：平均、分散、混合重み）を更新する。
• PRISMの分布意味論および独立性・排他的性の仮定を活用し、記号的ESS計算の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 記号的導出表現は、連続確率変数を含むPRISMプログラムにおける効率的なパrameter学習を可能にするか？
• RQ2 導出の列挙を避けて、ガウス変数の期待十分統計量（ESS）をどのように記号的に計算できるか？
• RQ3 提案手法は、既存のPRISMおよびハイブリッドベイズネットワーク向けEMアルゴリズムをどの程度一般化できるか？
• RQ4 本フレームワークは、連続変数を含む有限混合モデルやカルマンフィルタのようなモデルのパラメータを学習できるか？
• RQ5 記号的推論は、ハイブリッド確率論理プログラミングにおけるスケーラビリティおよび正しさにどのような影響を与えるか？

主な発見

• ガウス変数の記号的ESS計算は、有限混合モデルにおける標準的なEMで用いられる事後責任と一致する。
• 混合成分がガウス分布である有限混合モデルについて、混合重み、平均、分散の更新が記号的ESSから導かれる形で、パラメータが正しく学習された。
• HMMをPRISMで符号化した場合のバウム＝ウェルチアルゴリズムを一般化しており、既存の統計的モデルと互換性があることが示された。
• 本手法は、離散的およびガウス的成分を併せ持つ混合モデルのようなハイブリッドモデルをサポートし、従来のハイブリッドベイズネットワークを越えて拡張可能である。
• 記号的ESS計算により、導出の列挙を回避でき、無限大の導出集合を含むモデルでも学習が可能となった。
• アルゴリズムはPRISMの分布意味論に基づいて形式的に裏付けられており、独立性および排他的性の仮定のもとで正しさが保たれている。