[论文解读] Combining Representation Learning with Logic for Language Processing

Tim Rocktäschel|arXiv (Cornell University)|Dec 27, 2017

Topic Modeling参考文献 2被引用 5

一句话总结

该论文提出了一种将表示学习与一阶逻辑相结合的创新方法，以减少自然语言处理中对大规模标注数据集的依赖。通过将逻辑规则映射到可微分损失函数，并端到端训练神经链接预测器，该方法直接将逻辑先验嵌入向量表示中，从而提升泛化能力，并在标注数据极少的情况下实现可解释的逻辑程序归纳。

ABSTRACT

The current state-of-the-art in many natural language processing and automated knowledge base completion tasks is held by representation learning methods which learn distributed vector representations of symbols via gradient-based optimization. They require little or no hand-crafted features, thus avoiding the need for most preprocessing steps and task-specific assumptions. However, in many cases representation learning requires a large amount of annotated training data to generalize well to unseen data. Such labeled training data is provided by human annotators who often use formal logic as the language for specifying annotations. This thesis investigates different combinations of representation learning methods with logic for reducing the need for annotated training data, and for improving generalization.

研究动机与目标

• 减少在自然语言处理表示学习中对大规模标注训练数据集的依赖。
• 将以一阶逻辑规则形式表达的领域专家知识融入神经网络模型。
• 提升向量表示的泛化能力，尤其针对低资源谓词。
• 通过受Prolog启发的神经网络实现端到端可微分的逻辑推理。
• 通过基于梯度的优化方法开发可解释的逻辑程序。

提出的方法

• 将无函数的一阶逻辑规则映射到可微分损失函数，以正则化谓词和常量的向量表示。
• 使用同时包含标注事实和由逻辑规则导出的损失的神经链接预测模型，将逻辑先验直接嵌入向量空间。
• 提出一种可扩展的替代方法，在不进行规则实例化的情况下正则化谓词表示，避免计算爆炸。
• 基于Prolog的逆向链式算法设计一种端到端可微分的证明器。
• 通过反向传播训练神经证明器，以优化符号表示，实现正确的逻辑推导。
• 采用具有条件编码和注意力机制的循环神经网络，以识别句子对之间的逻辑关系。

实验结果

研究问题

• RQ1 一阶逻辑规则能否被有效嵌入神经向量表示中以提升泛化能力？
• RQ2 如何在不完全实例化规则的情况下将逻辑先验整合到表示学习中？
• RQ3 可微分的神经证明器能否通过梯度下降学习出可解释的逻辑程序？
• RQ4 整合逻辑规则在多大程度上减少了对标注训练数据的需求？
• RQ5 注意力增强的RNN能否准确检测自然语言句子对之间的逻辑关系？

主要发现

• 该方法即使在无标注或仅有极少标注训练数据的情况下，也能成功学习到准确的谓词表示，仅依赖逻辑规则。
• 该模型能泛化到规则中未明确陈述的谓词，展现出来自逻辑的强大归纳偏置。
• 可扩展的正则化方法避免了规则实例化，并在大规模规则集上保持性能，优于规则实例化方法。
• 端到端可微分证明器通过梯度下降学习出可解释的逻辑程序，利用学习到的表示实现了正确证明。
• 基于注意力的RNN模型在句子对之间逻辑关系识别任务中达到高准确率（最高0.94），如规则提取实验所示。
• 逻辑与表示学习的结合显著提升了在低资源和零样本谓词学习场景下的性能。