[论文解读] Commonsense Knowledge Graph Reasoning by Selection or Generation? Why?

Cunxiang Wang, Jinhang Wu+2 more|arXiv (Cornell University)|Aug 13, 2020

Topic Modeling参考文献 15被引用 7

一句话总结

本文比较了常识知识图谱推理（CKGR）中生成与选择方法的性能，发现选择方法更优，因其输出更具可评估性、更稳定，且幻觉实体更少。本文提出一种新型文本编码器增强型知识图嵌入模型（TEE），结合神经文本编码器（CNN/BiLSTM）与TransE和TuckER，以处理未见实体和丰富的文本输入，在ConceptNet-100k和ATOMIC数据集上实现了最先进性能，尤其在测试集中包含未见实体时表现优异。

ABSTRACT

Commonsense knowledge graph reasoning(CKGR) is the task of predicting a missing entity given one existing and the relation in a commonsense knowledge graph (CKG). Existing methods can be classified into two categories generation method and selection method. Each method has its own advantage. We theoretically and empirically compare the two methods, finding the selection method is more suitable than the generation method in CKGR. Given the observation, we further combine the structure of neural Text Encoder and Knowledge Graph Embedding models to solve the selection method's two problems, achieving competitive results. We provide a basic framework and baseline model for subsequent CKGR tasks by selection methods.

研究动机与目标

• 对常识知识图谱推理（CKGR）中的生成与选择方法进行实证与理论比较。
• 解决选择方法在处理测试数据中丰富文本输入和未见实体时的局限性。
• 构建一个统一框架，将神经文本编码器与知识图嵌入（KGE）模型结合，用于CKGR。
• 使基于选择的CKGR模型能够处理测试集中未见的实体，这是现实应用中的关键挑战。
• 为未来基于选择的CKGR研究建立一个支持未见实体的新基线框架。

提出的方法

• 提出一种文本编码器增强型KGE（TEE）模型，将神经文本编码器（CNN、BiLSTM）与标准KGE模型（TransE、TuckER）结合，用于嵌入实体文本序列。
• 采用改进的训练目标，仅考虑当前训练中的实体，从而实现在无需子图采样的完整图上端到端训练。
• 对源实体和目标实体使用词级嵌入编码为文本序列，使模型能通过共享语义表示泛化到未见实体。
• 在每个训练样本中采用对比学习目标，包含一个正样本和一个负样本实体，提升对正确与错误实体的判别能力。
• 将文本编码器输出整合到KGE评分函数中，实现基于结构与语义信息的联合实体排序。
• 采用早停法与学习率调度策略，优化训练效率并防止过拟合，尤其在短文本数据集上表现更优。

实验结果

研究问题

• RQ1 生成方法是否真正能够产生全新的语义实体，还是仅对已有实体进行重述？
• RQ2 为何选择方法比生成方法更适合常识知识图谱推理？
• RQ3 基于选择的方法能否有效处理测试数据中的未见实体，这是标准KGE模型的主要局限？
• RQ4 在CKGR任务中，引入神经文本编码器如何提升KGE模型的性能？
• RQ5 不同文本编码器（CNN与BiLSTM）在不同长度实体的数据集上对性能有何影响？

主要发现

• 生成方法并未真正产生新的语义实体；在COMET中，96.4%的生成实体直接存在于训练数据中，仅3.58%为新实体，且无显著语义新颖性。
• 选择方法在可重现性、评估可行性以及避免有害或错误输出方面优于生成方法。
• 所提出的TEE模型在ConceptNet-100k和ATOMIC上显著优于标准KGE基线模型，尤其在ATOMIC上表现突出，因基线模型因未见实体而失效。
• 在ATOMIC中，86%的测试实体词出现在训练集中，这有助于TEE模型在存在未见实体的情况下实现泛化。
• 由于ATOMIC中实体文本更长（4.41词 vs. 1.72词），BiLSTM在该数据集上优于CNN；但在短文本的ConceptNet-100k上，CNN表现优于BiLSTM，表明模型选择应根据输入长度而定。
• 在ConceptNet-100k上，TEE（CNN+TuckER）在所有指标上均优于基线TuckER，而TEE（BiLSTM+TuckER）表现较差，表明在短实体上存在过拟合现象。