[論文レビュー] Adaptive MCMC-Based Inference in Probabilistic Logic Programs

Arun Nampally, C. R. Ramakrishnan|arXiv (Cornell University)|Mar 24, 2014

Bayesian Modeling and Causal Inference参考文献 17被引用数 6

ひとこと要約

本稿では、過去のサンプルからのフィードバックに基づき、確率論的論理プログラムにおける確率的変数の提案分布を動的に調整する適応的MCMC推論手法を提案する。報酬伝搬を強化学習にインspiredして用いることで、特に低尤度の証拠条件下でも真の条件付き確率分布への収束が加速され、実験的結果ではマルコフ型クエリ構造において収束速度が向上し、サンプル効率が向上している。

ABSTRACT

Probabilistic Logic Programming (PLP) languages enable programmers to specify systems that combine logical models with statistical knowledge. The inference problem, to determine the probability of query answers in PLP, is intractable in general, thereby motivating the need for approximate techniques. In this paper, we present a technique for approximate inference of conditional probabilities for PLP queries. It is an Adaptive Markov Chain Monte Carlo (MCMC) technique, where the distribution from which samples are drawn is modified as the Markov Chain is explored. In particular, the distribution is progressively modified to increase the likelihood that a generated sample is consistent with evidence. In our context, each sample is uniquely characterized by the outcomes of a set of random variables. Inspired by reinforcement learning, our technique propagates rewards to random variable/outcome pairs used in a sample based on whether the sample was consistent or not. The cumulative rewards of each outcome is used to derive a new "adapted distribution" for each random variable. For a sequence of samples, the distributions are progressively adapted after each sample. For a query with "Markovian evaluation structure", we show that the adapted distribution of samples converges to the query's conditional probability distribution. For Markovian queries, we present a modified adaptation process that can be used in adaptive MCMC as well as adaptive independent sampling. We empirically evaluate the effectiveness of the adaptive sampling methods for queries with and without Markovian evaluation structure.

研究の動機と目的

• 証拠の尤度が低い場合に標準的MCMCサンプリングが非効率になる問題に対処すること。
• 証拠と整合的なサンプルを優遇するように、マルコフ連鎖の探索中に提案分布を変更する適応的サンプリング手法を開発すること。
• 累積報酬を用いてランダム変数の結果を学習し、条件付き確率分布への収束を速めること。
• マルコフ型評価構造を有するクエリに対し、適応的独立サンプリングをサポートするように手法を拡張すること。
• 収束速度と計算コストの観点から、適応的MCMCと非適応的サンプリングの性能を実験的に評価すること。

提案手法

• 各状態がプログラム内のランダム変数（スイッチ）の結果によって定義されるサンプルに対応するマルコフ連鎖を用いる。
• 各サンプル後、サンプルが証拠を満たすかどうかに基づき、スイッチ・アウトカムペアに報酬を伝搬する。整合的なサンプルは正の報酬を受ける。
• 各アウトカムの累積報酬を用いて、対応するスイッチの提案分布を更新し、将来のサンプリングで高報酬のアウトカムを優遇する。
• 適応プロセスは各サンプル後に繰り返し適用され、逐次的に提案分布を証拠と整合的な状態空間領域にシフトさせる。
• マルコフ型クエリの場合、変更された適応プロセスにより、適応的MCMCおよび適応的独立サンプリングの両フレームワークで使用可能になる。
• 相互排他的なサンプルを保証するPrologスタイルの評価を活用することで、説明履歴の追跡を回避できる。

実験結果

リサーチクエスチョン

• RQ1 低尤度証拠を伴う確率論的論理プログラムにおける条件付きクエリに対して、適応的MCMCサンプリングは収束速度を向上させ得るか？
• RQ2 サンプル整合性に基づく報酬伝搬は、近似的推論の効率性と正確性にどのように影響するか？
• RQ3 適応的分布はどのような条件下で真の条件付き確率分布に収束するか？
• RQ4 適応メカニズムは独立サンプリングにも一般化可能か？
• RQ5 収束速度と計算コストの観点から、適応的サンプリングは非適応的サンプリングに比べてどのように性能を発揮するか？

主な発見

• 証拠尤度が低いクエリ、例えば P(reach(a,d) | reach(a,e))（証拠尤度が0.02882）において、適応的MCMCは非適応的MCMCよりも収束が速い。
• 到達可能性クエリにおいて、非適応的サンプリングのリジェクト率8%を、適応的サンプリングでは1.5%に低減し、サンプル効率が向上した。
• バランスの取れた括弧列クエリでは、1回の反復がほぼ2倍遅いものの、適応的サンプリングは収束が速く、全体的な性能向上が見られた。
• 理論的に証明されたように、マルコフ型評価構造を有するクエリにおいて、適応的手法は正しい条件付き確率分布への収束を達成した。
• 実験的結果から、標準的MCMCがリジェクト率が高くなる高次元または証拠が希な状況において、適応的サンプリングがより効果的であることが示された。
• 一般の確率論的論理プログラムに適用可能であるため、結合分布の明示的因数分解がなくても、適応メカニズムは有効である。