[論文レビュー] Programming with Personalized PageRank: A Locally Groundable First-Order Probabilistic Logic

William Yang Wang, Kathryn Mazaitis+1 more|arXiv (Cornell University)|May 10, 2013

Topic Modeling参考文献 15被引用数 25

ひとこと要約

この論文では、近似推論に個人化ページランク（PPR）を用いることで、局所的に接地された推論を効率的に行える、一階確率論的論理言語ProPPRを紹介する。再起動機構により証明を短い導出に偏らせることで、ProPPRはデータベースサイズに依存しない形で推論と学習がスケーリング可能であり、並列化によって1桁の速度向上を達成し、重み学習なしでもエンティティ解決タスクでマルコフ論理ネットワークを上回る性能を発揮する。

ABSTRACT

In many probabilistic first-order representation systems, inference is performed by "grounding"---i.e., mapping it to a propositional representation, and then performing propositional inference. With a large database of facts, groundings can be very large, making inference and learning computationally expensive. Here we present a first-order probabilistic language which is well-suited to approximate "local" grounding: every query $Q$ can be approximately grounded with a small graph. The language is an extension of stochastic logic programs where inference is performed by a variant of personalized PageRank. Experimentally, we show that the approach performs well without weight learning on an entity resolution task; that supervised weight-learning improves accuracy; and that grounding time is independent of DB size. We also show that order-of-magnitude speedups are possible by parallelizing learning.

研究の動機と目的

• 大規模な確率論的1階論理プログラムの接地における計算の非効率性に対処し、近似的で局所的な接地を可能にする。
• 個人化ページランク（PPR）の計算的性質を活用することで、効率的な推論と学習を可能にする論理言語を設計する。
• 局所的接地を用いて学習タスクを弱く結合された小規模な部分問題に分解することで、スケーラブルな重み学習を実現する。
• 推論と学習がデータベースサイズに依存しない時間内に実行可能であることを実証する。
• 学習プロセスの並列化により著しい速度向上を達成しつつ、高い正確性を維持する。

提案手法

• 推論を短い導出に偏らせる再起動機構を導入した確率的論理プログラム（SLPs）を拡張し、そのプロセスを個人化ページランク（PPR）に関連付ける。
• 論理的推論を、各ノードがクエリ・サブゴールペア、エッジが統一を伴う規則適用を表す証明空間上のグラフ探索として表現する。
• PPRに基づくアルゴリズムを用いて近似的な確率を計算し、収束時間はO(1/(αε))で抑えられる（αは再起動確率、εは誤差許容値）。
• クエリの周囲に局所的に関連する小さなサブグラフを構築するための局所的パーティショニング手法を採用し、全データベースサイズに依存しない効率的な局所的接地を実現する。
• 局所的に接地されたサブグラフ上で勾配ベースの重み学習を実行し、学習例ごとに並列化を可能にする。
• PPRプロセスを定理証明フレームワークに統合することで、近似的な推論の正しさと安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 個人化ページランクを用いて、理論的に保証された効率的推論と学習を実現する1階確率論的論理システムを設計可能か？
• RQ2 推論と学習時間がデータベースサイズに依存しない形で局所的接地が達成可能か？
• RQ3 証明プロセスに再起動を統合することで、理論的保証付きの安定的かつ効率的な推論が達成可能か？
• RQ4 局所的に接地された部分問題に分解することで、学習プロセスを効果的に並列化可能か？
• RQ5 このシステムの性能は、正確性とスケーラビリティの観点でマルコフ論理ネットワークと比較してどうか？

主な発見

• ProPPRは、データベースサイズに依存しない推論と学習時間を達成し、O(|DB|)ではなくO(1/(αε))のスケーリングに従う。
• 局所的に接地されたサブタスクの並列化により、学習時間に1桁の速度向上を達成する。
• 重み学習なしでも、再現されたマルコフ論理ネットワークのベースラインをエンティティ解決タスクで上回る。
• 教師あり重み学習により正確性がさらに向上し、特に会議場予測タスクでは、以前に報告された結果を上回る。
• 局所的接地手順により、各クエリの周囲の小さな関連サブグラフに計算を制限することで、効率的でスケーラブルな推論が可能になる。
• 理論的にも整合性があり、PPRの収束保証に基づく、保証された正しい近似的な推論と接地が実現されている。