[論文レビュー] Stochastic Logic Programs: Sampling, Inference and Applications

James Cussens|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 6被引用数 43

ひとこと要約

本稿では、変数消去法と重要度サンプリングをそれぞれ用いて、確率的論理プログラム（Stochastic Logic Programs: SLPs）における正確な推論と近似的な推論のためのアルゴリズムを提示する。SLPsが論理プログラムとベイジアンネットワーク構造を用いて機械学習における事前分布をモデル化できることを示し、後方分布からのサンプリングにメトロポリス・ハスティングス法を適用する。実用的な用途を想定したProlog実装も提供されている。

ABSTRACT

Algorithms for exact and approximate inference in stochastic logic programs (SLPs) are presented, based respectively, on variable elimination and importance sampling. We then show how SLPs can be used to represent prior distributions for machine learning, using (i) logic programs and (ii) Bayes net structures as examples. Drawing on existing work in statistics, we apply the Metropolis-Hasting algorithm to construct a Markov chain which samples from the posterior distribution. A Prolog implementation for this is described. We also discuss the possibility of constructing explicit representations of the posterior.

研究の動機と目的

• 確率的論理プログラム（SLPs）における正確かつ近似的な推論をサポートする、効率的な推論アルゴリズムの開発。
• 論理プログラムとベイジアンネットワーク構造を用いて、SLPsが機械学習において事前分布をどのように表現できるかの提示。
• 特にメトロポリス・ハスティングスを含むマルコフ連鎖モンテカルロ法を用いて、SLPsにおける後方分布からのサンプリングの適用。
• 推論とサンプリングにおける実用的実装を提供するPrologベースの実装の開発。
• SLPsにおける後方分布の明示的表現の構築可能性の検討。

提案手法

• 条件付き独立性構造を活用して変数を段階的に消去することで、SLPsにおける正確な推論を実現する変数消去法の適用。
• サンプルの尤度に基づく重みを割り当てることで、尤度に応じた重み付けを行う重要度サンプリングを、近似的な推論手法として用いる。
• SLPsのパラメータに関する後方分布に収束するマルコフ連鎖を構築するために、メトロポリス・ハスティングス法を適用。
• 論理プログラミングと確率的グラフィカルモデルを統合し、SLPsを論理的規則と確率的選択の組み合わせとして表現。
• 推論とサンプリング手順の実行を可能にするため、SLPsにおける推論とサンプリングの実装をPrologで開発。
• SLPsにおけるパラメータ学習と後方分布の計算に、既存のベイジアン推論の統計的手法を活用。

実験結果

リサーチクエスチョン

• RQ1 変数消去法を用いた場合、確率的論理プログラム（SLPs）における正確な推論をどのように効率的に行えるか。
• RQ2 重要度サンプリングは、SLPsにおける近的推論手法として、どの程度有効であるか。
• RQ3 メトロポリス・ハスティングス法を、SLPsにおける後方分布からのサンプリングにどのように適合させられるか。
• RQ4 SLPsは、論理プログラムとベイジアンネットワーク構造を用いて、機械学習タスクにおける事前分布をどのように表現できるか。
• RQ5 SLPsにおける後方分布の明示的表現の構築は可能か。その場合の計算上のトレードオフは何か。

主な発見

• 変数消去法は、条件付き独立性構造を活用することで、SLPsにおける正確な推論を効率的に行う手法を提供する。
• 重要度サンプリングは、複雑または高次元のモデルにおいてもスケーラブルな近的推論の代替手段を提供する。
• メトロポリス・ハスティングス法は、SLPsのパラメータに関する後方分布から有効なサンプルを生成するのに成功した。
• SLPsは、論理プログラムとベイジアンネットワーク構造を用いて、柔軟なモデリングを可能にする事前知識の表現が可能である。
• Prolog実装により、推論とサンプリングの実用的実行が可能となり、論理と確率の統合の可能性が実証された。
• 明示的後方分布表現は理論的には可能であるが、計算的に困難であることが示され、表現力と実行可能性のトレードオフが生じる。