[论文解读] Knowledge Is Flat: A Seq2Seq Generative Framework for Various Knowledge Graph Completion

Chen Chen, Yufei Wang+2 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Graph Neural Networks被引用 12

一句话总结

该论文提出KG-S2S，一种统一的序列到序列生成框架，通过将知识图谱事实扁平化为文本，将多种知识图谱补全（KGC）任务——静态、时序和少样本——统一处理，使单一模型可通过文本到文本生成完成所有任务。通过引入实体描述、软提示和约束解码，该方法在五个基准测试中均达到最先进性能，同时保持参数效率，并能生成新颖且合理的实体。

ABSTRACT

Knowledge Graph Completion (KGC) has been recently extended to multiple knowledge graph (KG) structures, initiating new research directions, e.g. static KGC, temporal KGC and few-shot KGC. Previous works often design KGC models closely coupled with specific graph structures, which inevitably results in two drawbacks: 1) structure-specific KGC models are mutually incompatible; 2) existing KGC methods are not adaptable to emerging KGs. In this paper, we propose KG-S2S, a Seq2Seq generative framework that could tackle different verbalizable graph structures by unifying the representation of KG facts into "flat" text, regardless of their original form. To remedy the KG structure information loss from the "flat" text, we further improve the input representations of entities and relations, and the inference algorithm in KG-S2S. Experiments on five benchmarks show that KG-S2S outperforms many competitive baselines, setting new state-of-the-art performance. Finally, we analyze KG-S2S's ability on the different relations and the Non-entity Generations.

研究动机与目标

• 解决现有KGC模型与特定知识图谱结构紧密耦合所导致的不兼容性和不灵活性问题。
• 在不修改架构的前提下，将静态、时序和少样本等多样化KGC任务统一于单一生成框架中。
• 通过改进输入表示和推理机制，缓解将结构化KG事实扁平化为文本时的信息损失。
• 实现非实体但语义合理的知识三元组生成，以支持数据增强和新型知识发现。
• 开发一种参数效率高的模型，其参数量随知识图谱规模增长缓慢，尤其相较于基于嵌入的模型更具优势。

提出的方法

• 将所有知识图谱事实——无论结构如何——统一转换为‘文本到文本’格式，将实体、关系和时间戳视为纯文本序列处理。
• 通过实体描述、软提示和序列到序列dropout增强输入表示，以保留语义和结构线索。
• 实施一种带有前缀约束的约束解码算法，引导生成过程生成有效的实体和关系。
• 在KG补全任务上微调预训练的序列到序列语言模型（T5-base/small），使用标准文本生成目标。
• 使用束搜索（beam search），束宽固定为40，以在生成质量与推理成本之间取得平衡。
• 为每种关系集成软提示机制，以在不微调整个主干网络的情况下调整模型的上下文行为。

实验结果

研究问题

• RQ1 单一序列到序列生成框架是否能在不修改架构的前提下，处理静态、时序和少样本等多种知识图谱补全任务？
• RQ2 所提出的文本到文本方法在将KG事实扁平化为序列时，其对结构信息的保留效果如何？
• RQ3 该模型在多大程度上能生成语义合理且对知识发现有用的非实体类实体？
• RQ4 随着参数量增加，模型性能如何变化？其在知识图谱规模扩大时是否仍保持高效？
• RQ5 使用实体描述、软提示和约束解码是否显著提升了生成质量与KGC性能？

主要发现

• KG-S2S在全部五个基准测试（WN18RR、FB15K-237、FB15K-237N、ICEWS14和NELL-One）中均达到最先进性能，优于基于图结构和PLM的基线模型。
• 在FB15K-237N上，KG-S2S使用T5-base主干（220M参数）时MRR达到0.353，超过参数量更大的StAR模型（354M参数，MRR为0.274）。
• 即使使用更小的T5-small主干（60M参数），KG-S2S仍取得0.351的MRR，表明其在参数量显著减少的情况下仍保持强大性能。
• 模型性能随束宽增加至40而提升，之后趋于平稳，验证了选择束宽40作为成本与精度之间权衡的合理性。
• 若无前缀约束，KG-S2S仍会生成非实体但语义合理的文本，例如将《机械战警》的类型生成为“超级英雄电影”，将M.奈特·沙亚马兰的族裔生成为“印度裔美国人”。
• 由于软提示随关系数量扩展（$O(|\mathcal{R}| \cdot d)$），KG-S2S的参数增长几乎恒定，与知识图谱规模无关；而传统模型的参数量随实体和关系数量增长（$O((|\mathcal{E}|+|\mathcal{R}|)d)$），增长更快。