[论文解读] Programming with Personalized PageRank: A Locally Groundable First-Order Probabilistic Logic

William Yang Wang, Kathryn Mazaitis+1 more|arXiv (Cornell University)|May 10, 2013

Topic Modeling参考文献 15被引用 25

一句话总结

本文提出 ProPPR，一种一阶概率逻辑语言，通过使用个性化 PageRank（PPR）近似推理，实现高效且局部化的推理。通过重启机制使推理偏向于短推导路径，ProPPR 确保推理与学习的可扩展性与数据库规模无关，通过并行化实现数量级的速度提升，并在无需权重学习的情况下，优于马尔可夫逻辑网络在实体消解任务上的表现。

ABSTRACT

In many probabilistic first-order representation systems, inference is performed by "grounding"---i.e., mapping it to a propositional representation, and then performing propositional inference. With a large database of facts, groundings can be very large, making inference and learning computationally expensive. Here we present a first-order probabilistic language which is well-suited to approximate "local" grounding: every query $Q$ can be approximately grounded with a small graph. The language is an extension of stochastic logic programs where inference is performed by a variant of personalized PageRank. Experimentally, we show that the approach performs well without weight learning on an entity resolution task; that supervised weight-learning improves accuracy; and that grounding time is independent of DB size. We also show that order-of-magnitude speedups are possible by parallelizing learning.

研究动机与目标

• 通过引入近似且局部化的推理机制，解决大规模概率一阶逻辑程序的推理计算不可行性问题。
• 设计一种支持高效推理与学习的逻辑语言，利用个性化 PageRank 的计算特性。
• 通过将学习任务分解为弱耦合的小规模子任务，实现可扩展的权重学习。
• 证明即使在大型知识库中，推理与学习的时间也可独立于数据库规模。
• 通过并行化学习过程实现显著提速，同时保持高准确性。

提出的方法

• 在随机逻辑程序（SLPs）的基础上扩展重启机制，使推理偏向于短推导路径，将该过程与个性化 PageRank（PPR）关联。
• 将逻辑推理表示为在证明空间上的图搜索，其中每个节点为一个查询-子目标对，边表示通过合一操作应用规则。
• 使用基于 PPR 的算法计算近似概率，收敛时间受 O(1/(αε)) 限制，其中 α 为重启概率，ε 为误差容限。
• 采用局部划分方法构建围绕查询的小型相关子图，实现在不依赖完整数据库规模情况下的高效局部推理。
• 在局部推理生成的子图上应用基于梯度的权重学习，支持跨训练样本的并行化处理。
• 将 PPR 过程集成到定理证明框架中，确保近似推理的正确性与稳定性。

实验结果

研究问题

• RQ1 能否利用个性化 PageRank 设计出具有可证明高效推理与学习能力的一阶概率逻辑系统？
• RQ2 是否可以实现局部推理，使推理与学习时间独立于数据库规模？
• RQ3 将重启机制整合到推理过程中，是否能带来稳定、高效的推理，并具备理论保证？
• RQ4 能否通过将学习过程分解为局部推理子任务，实现有效的并行化？
• RQ5 该系统在准确率与可扩展性方面与马尔可夫逻辑网络相比表现如何？

主要发现

• ProPPR 实现了与数据库规模无关的推理与学习时间，其复杂度为 O(1/(αε))，而非 O(|DB|)。
• 通过并行化局部推理子任务，系统在学习时间上实现了数量级的速度提升。
• 即使不进行权重学习，ProPPR 在实体消解任务上仍优于复现的马尔可夫逻辑网络基线模型。
• 监督式权重学习进一步提升了准确率，尤其在场地预测任务中，超越了以往报告的结果。
• 局部推理过程通过将计算限制在每个查询周围的较小相关子图中，实现了高效且可扩展的推理。
• 该方法理论基础坚实，基于 PPR 收敛性保证，实现了可证明正确的近似推理与推理过程。