[论文解读] Incremental Knowledge Base Construction Using DeepDive

Jaeho Shin, Sen Wu+4 more|arXiv (Cornell University)|Feb 3, 2015

Geochemistry and Geologic Mapping被引用 15

一句话总结

本文提出 DeepDive，一个开源系统，通过支持增量式基础事实生成与推理，加速知识库构建（KBC）。该系统引入两种近似推理技术——采样与变分推理，并结合基于规则的优化器，在保持极低质量损失的前提下，使 KBC 流水线的处理速度最高提升 100 倍，显著加速了知识库系统的迭代开发周期。

ABSTRACT

Populating a database with unstructured information is a long-standing problem in industry and research that encompasses problems of extraction, cleaning, and integration. Recent names used for this problem include dealing with dark data and knowledge base construction (KBC). In this work, we describe DeepDive, a system that combines database and machine learning ideas to help develop KBC systems, and we present techniques to make the KBC process more efficient. We observe that the KBC process is iterative, and we develop techniques to incrementally produce inference results for KBC systems. We propose two methods for incremental inference, based respectively on sampling and variational techniques. We also study the tradeoff space of these methods and develop a simple rule-based optimizer. DeepDive includes all of these contributions, and we evaluate DeepDive on five KBC systems, showing that it can speed up KBC inference tasks by up to two orders of magnitude with negligible impact on quality.

研究动机与目标

• 加速知识库构建（KBC）系统的迭代开发周期，此类系统通常运行缓慢且耗时费力。
• 通过在数据或程序变更后支持对因子图的增量更新，解决 KBC 中统计推理的计算瓶颈问题。
• 设计一种兼顾权衡的推理系统，根据工作负载特征动态选择采样或变分推理。
• 评估真实世界 KBC 应用中增量推理在性能与质量之间的权衡，覆盖多样化领域。
• 提供可扩展、可投入生产的系统，支持工程师构建高质量知识库时实现快速迭代。

提出的方法

• DeepDive 使用基于 SQL 和马尔可夫逻辑网络的声明式语言定义 KBC 流水线，实现数据库与机器学习技术的融合。
• 通过指定‘增量规则’使基础事实生成过程实现增量化，描述因子图输出如何响应输入数据或规则更新而变化，从而减少冗余计算。
• 在推理方面，DeepDive 实现了两种近似推理方法：自适应接受率的 Gibbs 采样与基于平均场近似的变分推理。
• 基于规则的优化器根据工作负载特征（如分布稳定性与因子图规模）为每个变量组选择采样或变分推理。
• 系统为所有提取的事实保持校准的边缘概率，确保预测概率真实反映正确性（例如，0.9 的概率意味着约 90% 的真正例）。
• 中间推理状态的物化支持成本分摊，使增量设置的一次性开销在多次更新中得以回收，从而极具效率。

实验结果

研究问题

• RQ1 如何使知识库构建的基础事实生成阶段实现增量化，以减少数据或规则变更后的重复计算？
• RQ2 在增量 KBC 系统中，基于采样的推理与变分推理在性能与质量之间存在何种权衡？
• RQ3 能否通过动态、工作负载感知的推理技术选择策略，提升端到端性能而不牺牲准确性？
• RQ4 在真实世界应用中，增量推理能在多大程度上减少 KBC 流水线的总执行时间？
• RQ5 系统如何在支持快速、增量式更新的同时，保持概率的校准性？

主要发现

• DeepDive 在五个真实世界的 KBC 系统中，推理执行时间最高实现两个数量级（100 倍）的加速，对精确率与召回率的影响可忽略不计。
• 在新闻系统中，当分布保持稳定时，基于采样的方法实现了最高 11 倍的加速，得益于高接受率与低重复计算开销。
• 在古生物学系统中，由于每个变量的因子图更小，完整推理成本更低且更易于进行增量更新，因此实现了 10 倍的加速。
• 基于规则的优化器通过为每个变量组动态选择最佳推理方法，相比固定策略基线，执行速度最高快 2 倍。
• 增量设置的一次性物化成本为 12 小时，但在多次更新中被分摊，使其在迭代开发中极为高效。
• 消融研究证实，若禁用采样或变分推理，性能将显著下降——当禁用监督规则的变分推理时，最慢可达 36 倍，验证了双技术权衡空间的重要性。