[論文レビュー] Learning Probabilistic Logic Programs in Continuous Domains

Stefanie Speichert, Vaishak Belle|arXiv (Cornell University)|Jul 15, 2018

Bayesian Modeling and Causal Inference参考文献 37被引用数 5

ひとこと要約

本稿は、固定されたパラメトリック分布を仮定せずに、連続的および混合離散-連続データから確率論的論理プログラムを学習するための新規フレームワークを提案する。この手法は、複雑な密度関数をモデル化するための区分的多項式近似を用い、記号的規則学習と統合することで、連続ドメインにおける構成的で解釈可能かつ効率的な推論を可能にする。これは、確率論的論理プログラミングにおいて任意の連続分布を学習する初のアプローチである。

ABSTRACT

The field of statistical relational learning aims at unifying logic and probability to reason and learn from data. Perhaps the most successful paradigm in the field is probabilistic logic programming: the enabling of stochastic primitives in logic programming, which is now increasingly seen to provide a declarative background to complex machine learning applications. While many systems offer inference capabilities, the more significant challenge is that of learning meaningful and interpretable symbolic representations from data. In that regard, inductive logic programming and related techniques have paved much of the way for the last few decades. Unfortunately, a major limitation of this exciting landscape is that much of the work is limited to finite-domain discrete probability distributions. Recently, a handful of systems have been extended to represent and perform inference with continuous distributions. The problem, of course, is that classical solutions for inference are either restricted to well-known parametric families (e.g., Gaussians) or resort to sampling strategies that provide correct answers only in the limit. When it comes to learning, moreover, inducing representations remains entirely open, other than "data-fitting" solutions that force-fit points to aforementioned parametric families. In this paper, we take the first steps towards inducing probabilistic logic programs for continuous and mixed discrete-continuous data, without being pigeon-holed to a fixed set of distribution families. Our key insight is to leverage techniques from piecewise polynomial function approximation theory, yielding a principled way to learn and compositionally construct density functions. We test the framework and discuss the learned representations.

研究の動機と目的

• 連続的および混合離散-連続データにおける確率論的論理プログラムの学習手法の不足に対処すること。
• ガウス分布のような固定されたパラメトリック族に制限される既存のアプローチの限界を克服すること。
• 連続的確率論的論理プログラムの学習と推論に、構成的で解釈可能かつ効率的な方法を開発すること。
• 既存のPLPシステムとのモジュラーインターフェースを通じて、ハイブリッドな離散-連続確率空間における記号的統合と推論を可能にすること。
• 事前定義された分布族にデータを強制せずに、データ駆動型の非パラメトリックな方法で密度関数と規則を連続的特徴から誘導すること。

提案手法

• パラメトリック形式を仮定せずに、任意の連続的密度関数をモデル化するための区分的多項式関数近似理論を活用する。
• 区間を分割した上で、多項式セグメントの合成として連続的確率密度を表現することで、正確な統合と効率的な推論を可能にする。
• 連続変数を区間ベースの述語に変換するための離散化戦略（例：距離ベースまたは教師あり）を用いる。
• 離散的誘導論理プログラミング（例：ProbFOIL）の標準的手法を用いて、離散化された連続的変数および離散的述語上での決定的規則を学習する。
• 外部インターフェースを通じてProbLogに統合し、成功確率の計算を伴うハイブリッドクエリを可能にする、学習済み密度関数と記号的推論の統合。
• 密度学習と規則学習が分離されたモジュラーアーキテクチャを採用することで、既存の確率論的論理プログラミングシステムと再利用可能にする。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布のような固定されたパラメトリック族を仮定せずに、連続的データから確率論的論理プログラムを学習できるか？
• RQ2 複雑で任意の形状の連続的確率密度関数を、記号的かつ解釈可能な方法で表現・合成できるか？
• RQ3 標準的な離散的規則学習器は、ハイブリッド設定下で離散化された連続的特徴上での規則学習にどの程度適応可能か？
• RQ4 教師ありと教師なしの離散化の性能は、規則のコンパクト性と解釈可能性にどの程度影響を及ぼすか？
• RQ5 区分的多項式密度関数の記号的統合を、確率論的論理プログラミングと効率的に組み合わせ、正確な推論を可能にするか？

主な発見

• 本フレームワークは、事前定義されたパラメトリック族を仮定せずに、連続的データから解釈可能な確率論的論理プログラムを学習でき、複雑な密度形状の表現を可能にする。
• 教師ありの離散化は、教師なしの手法に比べてよりコンパクトな規則をもたらし、同じビン数でも規則の本体が短く、否定が少なく、全体のプログラムサイズも小さい。
• 同じビンサイズに対して、異なる離散化レジームでも学習済み規則が文法的に同一であるため、データ前処理の診断的有用性が示唆される。
• 実験的評価では、本フレームワークが正確な推論をサポートすることが示された。例えば、スロバキアにおける「幸せ6」の確率は0.143であったが、多変量連続的関係（social(X,Y)）を追加すると0.135に上昇した。
• 区分的多項式密度関数の効果的な記号的統合が可能であり、サンプリングや漸近的収束に依存せずに正確な推論を実現する。
• ProbLogとの統合により、連続的密度学習と記号的規則学習が原理的かつスケーラブルな方法で組み合わせられることを示しており、実現可能性とモularityが裏付けられた。