[论文解读] Collaborative Policy Learning for Open Knowledge Graph Reasoning

Cong Fu, Tong Chen+3 more|arXiv (Cornell University)|Aug 31, 2019

Advanced Graph Neural Networks参考文献 19被引用 4

一句话总结

本文提出协作式策略学习（CPL），一种通过强化学习联合训练推理智能体与事实抽取智能体以提升开放知识图谱推理性能的框架。事实抽取智能体可从文本语料库中动态丰富知识图谱的相关事实，而推理智能体则提供反馈以引导抽取智能体聚焦于有用事实，显著提升了稀疏图上的路径查找性能与可解释性。

ABSTRACT

In recent years, there has been a surge of interests in interpretable graph reasoning methods. However, these models often suffer from limited performance when working on sparse and incomplete graphs, due to the lack of evidential paths that can reach target entities. Here we study open knowledge graph reasoning---a task that aims to reason for missing facts over a graph augmented by a background text corpus. A key challenge of the task is to filter out "irrelevant" facts extracted from corpus, in order to maintain an effective search space during path inference. We propose a novel reinforcement learning framework to train two collaborative agents jointly, i.e., a multi-hop graph reasoner and a fact extractor. The fact extraction agent generates fact triples from corpora to enrich the graph on the fly; while the reasoning agent provides feedback to the fact extractor and guides it towards promoting facts that are helpful for the interpretable reasoning. Experiments on two public datasets demonstrate the effectiveness of the proposed approach. Source code and datasets used in this paper can be downloaded at https://github.com/shanzhenren/CPL

研究动机与目标

• 解决因缺乏证据路径而导致的稀疏且不完整的知识图谱性能低下问题。
• 在推理过程中利用从背景文本语料库中提取的事实实现知识图谱的动态增强。
• 通过在图谱增强过程中过滤无关或噪声事实，减少搜索空间与可扩展性问题。
• 通过仅添加语义相关事实，提升推理路径的可解释性。
• 构建协作学习框架，使推理反馈引导事实抽取策略，从而提升整体推理性能。

提出的方法

• 训练两个强化学习智能体：一个用于路径查找的推理智能体，一个用于从文本语料库中选择相关事实的事实抽取智能体。
• 在共享环境中，事实抽取智能体根据上下文与推理进展动态向知识图谱添加边。
• 当推理智能体成功到达目标实体时，提供密集的奖励信号，该信号随后反向传播至事实抽取智能体。
• 在训练过程中采用自适应采样，以早期生成高质量的正样本经验，从而稳定策略学习。
• 采用基于策略梯度的优化方法联合训练两个智能体，其中事实抽取策略受推理智能体成功程度的引导。
• 将框架与现有基于路径的推理模型（如 Multi-Hop、ConvE、RotatE）集成，提升性能，且无需修改模型架构。

实验结果

研究问题

• RQ1 协作式强化学习框架能否通过从文本语料库中动态丰富相关事实，提升稀疏且不完整的知识图谱上的推理性能？
• RQ2 如何训练事实抽取策略，使其在支持有效路径推理的同时，过滤掉无关或噪声事实？
• RQ3 推理智能体的反馈在多大程度上随时间提升所提取事实的质量？
• RQ4 所提出的框架是否在提升预测准确率的同时，保持推理路径的可解释性？
• RQ5 自适应采样策略如何影响协作式策略学习过程的收敛性与稳定性？

主要发现

• 所提出的 CPL 框架在两个公开数据集 UMLS-PubMed 与 OpenKE 上显著提升了知识图谱推理性能，优于强基线模型。
• 事实抽取智能体学习到以高 sug_edge/pos_path 比率建议相关事实，表明其对有用边的有效过滤能力。
• 训练过程中的性能曲线呈现山谷形状，源于自适应采样过早停止，但随着智能体学习到稳定的探索策略，模型最终恢复并持续提升。
• 消融实验表明，若移除自适应采样或冻结抽取器，性能将下降，证实了联合训练与动态适应的重要性。
• 案例研究显示，CPL 通过学习路径模式并提取与之匹配的事实，实现了可解释的推理，增强了模型透明度。
• 该框架具备良好的泛化能力，可与多种路径查找模块（如结合 ConvE 或 RotatE 的 Multi-Hop）集成，随着推理模块的演化，持续提升其性能。