[论文解读] Logic-guided Semantic Representation Learning for Zero-Shot Relation Classification

Juan Li, Ruoxu Wang+4 more|arXiv (Cornell University)|Oct 30, 2020

Topic Modeling参考文献 49被引用 5

一句话总结

本文提出了一种模型无关的框架——逻辑引导语义表征学习（LSRL），通过整合知识图谱嵌入以捕捉隐式语义关联，并结合逻辑规则实现显式符号推理，从而提升零样本关系分类性能。通过融合这两种组件，LSRL在性能上达到当前最先进水平，相较于基线方法在Hit@1指标上最高提升4%，证明了结合结构化知识与逻辑推理在未见关系泛化任务中的有效性。

ABSTRACT

Relation classification aims to extract semantic relations between entity pairs from the sentences. However, most existing methods can only identify seen relation classes that occurred during training. To recognize unseen relations at test time, we explore the problem of zero-shot relation classification. Previous work regards the problem as reading comprehension or textual entailment, which have to rely on artificial descriptive information to improve the understandability of relation types. Thus, rich semantic knowledge of the relation labels is ignored. In this paper, we propose a novel logic-guided semantic representation learning model for zero-shot relation classification. Our approach builds connections between seen and unseen relations via implicit and explicit semantic representations with knowledge graph embeddings and logic rules. Extensive experimental results demonstrate that our method can generalize to unseen relation types and achieve promising improvements.

研究动机与目标

• 为解决监督式关系分类模型在未见关系类型上失效的局限性。
• 通过利用已见与未见关系之间的隐式与显式语义关联，弥合零样本关系分类中的泛化差距。
• 探索将知识图谱嵌入与逻辑规则作为互补机制，用于零样本设置下的语义表征学习。
• 开发一种模型无关的框架，无需架构修改即可增强现有零样本方法。

提出的方法

• 利用预训练的知识图谱嵌入（如TransE）在连续向量空间中建立关系之间的隐式语义关联。
• 通过AMIE进行规则挖掘，从知识图谱中提取符号化逻辑规则，捕捉关系之间的逻辑关系。
• 引入规则引导的表征学习，通过整合逻辑推理模式来优化关系嵌入。
• 将知识图谱嵌入与基于规则的嵌入融合至统一的语义空间，以提升对未见关系的泛化能力。
• 将所提出的LSRL模块与现有零样本学习模型（如DeViSE和ConSE）集成，验证其兼容性与有效性。
• 采用投影函数将输入句子表征对齐至关系标签的增强语义空间，实现零样本预测。

实验结果

研究问题

• RQ1 知识图谱嵌入能否有效捕捉零样本关系分类中已见与未见关系之间的隐式语义关系？
• RQ2 符号化逻辑规则在多大程度上提升零样本关系分类模型的泛化能力？
• RQ3 结合隐式（KG嵌入）与显式（基于规则）语义关联，相较于单独使用任一组件，性能提升的幅度如何？
• RQ4 所提出的LSRL框架能否在不修改架构的前提下有效集成至现有零样本学习模型中？
• RQ5 逻辑规则的引入是否带来更鲁棒且可解释的未见关系表征？

主要发现

• 当使用ConSE作为投影函数时，知识图谱嵌入与逻辑规则的结合使Hit@1得分相较基线方法提升3–4%。
• 对于某些未见关系（如'mother'），基于规则的嵌入在性能上可与词嵌入相当甚至更优，尤其在词嵌入因训练不足而失效的情况下。
• 对于关系'nominated_for'，规则'nominated_for(x,z) ⇐ award_received(x,y) ∧ winner(y,z)'与模型的预测模式一致，证实了模型的逻辑一致性。
• ConSE+KG的热力图分析显示，'award_received'等关系在预测'nominated_for'时具有高度影响力，验证了模型所学习到的逻辑关联。
• 模型表明，逻辑规则有助于纠正和优化表征，尤其对低频或表征不佳的关系更为有效。
• 大量消融实验表明，知识图谱嵌入与规则学习均对性能有显著贡献，二者结合可获得最佳结果。