[论文解读] Deep Probabilistic Logic: A Unifying Framework for Indirect Supervision

Hai Wang, Hoifung Poon|arXiv (Cornell University)|Aug 26, 2018

Topic Modeling参考文献 39被引用 10

一句话总结

本文提出深度概率逻辑（DPL），一种统一框架，将概率逻辑与深度学习相结合，实现在自然语言处理中的端到端间接监督。通过将标签决策建模为隐变量，并使用变分期望最大化（EM）联合优化深度神经网络与加权逻辑公式，DPL 涵盖并整合了远程监督、数据编程和联合推理，无需人工标注即可在生物医学机器阅读任务中实现显著的准确率提升。

ABSTRACT

Deep learning has emerged as a versatile tool for a wide range of NLP tasks, due to its superior capacity in representation learning. But its applicability is limited by the reliance on annotated examples, which are difficult to produce at scale. Indirect supervision has emerged as a promising direction to address this bottleneck, either by introducing labeling functions to automatically generate noisy examples from unlabeled text, or by imposing constraints over interdependent label decisions. A plethora of methods have been proposed, each with respective strengths and limitations. Probabilistic logic offers a unifying language to represent indirect supervision, but end-to-end modeling with probabilistic logic is often infeasible due to intractable inference and learning. In this paper, we propose deep probabilistic logic (DPL) as a general framework for indirect supervision, by composing probabilistic logic with deep learning. DPL models label decisions as latent variables, represents prior knowledge on their relations using weighted first-order logical formulas, and alternates between learning a deep neural network for the end task and refining uncertain formula weights for indirect supervision, using variational EM. This framework subsumes prior indirect supervision methods as special cases, and enables novel combination via infusion of rich domain and linguistic knowledge. Experiments on biomedical machine reading demonstrate the promise of this approach.

研究动机与目标

• 通过统一多种间接监督方法，解决自然语言处理中的标注瓶颈问题。
• 即使在推理和学习不可行的情况下，仍能实现概率逻辑与深度学习的端到端联合训练。
• 在一个统一框架内整合多种间接监督形式——远程监督、数据编程和联合推理。
• 利用丰富的领域知识和极少的人工标注数据，提升生物医学文本中的机器阅读准确率。
• 提供可扩展、模块化的框架，支持灵活组合各种监督信号。

提出的方法

• DPL 将深度神经网络（预测模块）与概率逻辑模型（监督模块）组合，其中标签决策为隐变量。
• 使用加权一阶逻辑公式表示间接监督，通过推广虚拟证据，统一多种监督来源。
• 该框架采用变分期望最大化（EM）算法，交替优化深度学习模型与公式权重，以实现间接监督。
• 通过最大化给定输入下虚拟证据的条件似然，实现预测模块与监督模块的联合优化。
• 在概率逻辑组件中使用Loopy信念传播进行近似推理，通常在2–4轮内收敛。
• 该方法支持模块化训练：每个EM迭代中对深度学习模型进行十轮优化，共执行三次EM步骤。

实验结果

研究问题

• RQ1 能否设计一个统一框架，整合远程监督、数据编程和联合推理等多样化的间接监督方法？
• RQ2 能否有效组合深度学习与概率逻辑，实现在推理不可行情况下的端到端训练？
• RQ3 整合多种间接监督信号是否能提升生物医学机器阅读任务的准确率？
• RQ4 DPL 是否能泛化至原始监督信号未覆盖的错误类型，例如引用或扁平化表格中的错误？
• RQ5 在大规模生物医学数据集上，DPL 在训练和推理时间上的可扩展性如何？

主要发现

• 在关系抽取任务中，DPL 实现了0.61的精确率和20,378的绝对召回率，显著优于Peng等人（2017）的0.31精确率和11,481召回率。
• DPL 实体链接模块在结合训练时和测试时过滤后，精确率从0.55提升至0.61，有效减少了低置信度基因提及带来的噪声。
• DPL 修正了原始标注函数未覆盖的关系抽取错误，例如来自引用或扁平化表格的错误，表明其在初始监督之外具备泛化能力。
• 该框架在训练实例数量上呈线性扩展，且效率较高：在使用25个CPU核心和1个GPU的PubMed规模数据上，关系抽取耗时3.5小时，实体链接耗时2.5小时。
• 错误分析显示，45%的DPL精确率错误源于基因-突变关联，提示这是未来改进的关键方向。
• DPL 实现了监督信号的相互增强，通过在单一模型中结合远程监督、数据编程和联合推理，显著提升了性能。