[論文レビュー] Efficient Inference and Learning in a Large Knowledge Base: Reasoning with Extracted Information using a Locally Groundable First-Order Probabilistic Logic

William Yang Wang, Kathryn Mazaitis+3 more|arXiv (Cornell University)|Apr 12, 2014

Bayesian Modeling and Causal Inference参考文献 1被引用数 8

ひとこと要約

この論文では、局所的に接地可能で、個人化されたPageRankに基づく証明手順を用いることで、大規模な知識ベースにおける効率的な推論と学習を可能にする、一階確率論理ProPPRを紹介する。短い導出に偏った推論と近似PageRank計算を活用することで、ProPPRはデータベースサイズに依存しない時間で推論と学習を実現しており、マルコフ論理ネットワークと比較して桁違いの高速化を達成し、100万個のエンティティと数百万の相互依存する述語を扱えるスケーラビリティを示している。

ABSTRACT

One important challenge for probabilistic logics is reasoning with very large knowledge bases (KBs) of imperfect information, such as those produced by modern web-scale information extraction systems. One scalability problem shared by many probabilistic logics is that answering queries involves "grounding" the query---i.e., mapping it to a propositional representation---and the size of a "grounding" grows with database size. To address this bottleneck, we present a first-order probabilistic language called ProPPR in which that approximate "local groundings" can be constructed in time independent of database size. Technically, ProPPR is an extension to stochastic logic programs (SLPs) that is biased towards short derivations; it is also closely related to an earlier relational learning algorithm called the path ranking algorithm (PRA). We show that the problem of constructing proofs for this logic is related to computation of personalized PageRank (PPR) on a linearized version of the proof space, and using on this connection, we develop a proveably-correct approximate grounding scheme, based on the PageRank-Nibble algorithm. Building on this, we develop a fast and easily-parallelized weight-learning algorithm for ProPPR. In experiments, we show that learning for ProPPR is orders magnitude faster than learning for Markov logic networks; that allowing mutual recursion (joint learning) in KB inference leads to improvements in performance; and that ProPPR can learn weights for a mutually recursive program with hundreds of clauses, which define scores of interrelated predicates, over a KB containing one million entities.

研究の動機と目的

• 大規模な知識ベースにおける推論のスケーラビリティのボトル neck を解消するため、データベースサイズに比例して接地が増大する確率的1階論理の問題に取り組む。
• Webスケールの知識ベースでノイズの多い抽出事実を扱う大規模な知識ベースにおいて、効率的かつ近似的な推論と学習を可能にする1階確率論理を開発する。
• 各訓練例ごとに局所的に接地された部分問題に分解することで、並列化可能な重み学習を可能にする。
• 個人化されたPageRankと局所的分割を用いた近似的な接地の理論的基盤を確立し、正しさと誤差の上限を保証する。

提案手法

• 短い導出に偏るよう制御するリスタート機構を導入することで、Stochastic Logic Programs (SLPs) を拡張し、局所的に接地可能な論理を構築する。
• 証明探索を線形化された証明空間上の個人化されたPageRank (PPR) の計算としてモデル化することで、近似的な効率的推論を実現する。
• PageRank-Nibbleアルゴリズムを用いて、データベースサイズに依存しない O(1/(αε)) 時間で局所的接地を計算する。ここで α はリスタート確率、ε は誤差許容値である。
• 勾配ベースの重み学習アルゴリズムを開発し、各クエリごとに学習を分割することで、並列化が容易になり、効率的な最適化が可能になる。
• 各クエリに対して関連する部分グラフを隔離するための局所的分割技術（Andersen et al., 2006, 2008）を活用し、計算コストを削減する。
• 接地プロセスとパrameter学習を統合することで、モデルの重みを反復的に改善しつつも、スケーラビリティを維持できる。

実験結果

リサーチクエスチョン

• RQ1 完全な接地を伴わずに、大規模な知識ベースにおける効率的推論と学習を可能にする1階確率論理を設計することは可能か？
• RQ2 局所的でPageRankに基づく証明手順を用いて、証明可能な正しい近似的な推論を達成することは可能か？
• RQ3 局所的接地を介して、独立した並列化可能な部分問題に重み学習を分解することで、スケーラブルな最適化が可能か？
• RQ4 ProPPRの性能は、マルコフ論理ネットワークなどの従来手法と比較して、大規模なKBにおける速度と正確性の面で優れているか？
• RQ5 相互に再帰的な述語を同時に学習することで、個別に学習する場合と比較して性能が向上するか？

主な発見

• ProPPRは、データベースサイズに依存しない O(1/(αε)) 時間で推論と学習を実行し、大規模な知識ベースにおけるスケーラブルな推論を実現している。
• ProPPRの学習は、マルコフ論理ネットワークと比較して桁違いに高速であり、実験では10倍の高速化が観測された。
• ProPPRは、100万個のエンティティを含む知識ベース上で、数百の節を含む相互再帰的プログラムの重みを、デスクトップマシンで数秒で学習した。
• 相互に関連する述語の上での統合的推論と学習は、個別に各述語を学習する場合と比較して、性能が向上した。
• 局所的に接地された推論方式により、並列処理が効果的に可能となり、マルチスレッドによる追加の桁違いの高速化が達成された。
• この手法は、エンティティの解決と分類タスクにおいて優れた性能を示し、中間の証明段階すべてにおいて近似誤差が ε 以内に制限されている。