[论文解读] Building Dynamic Knowledge Graphs from Text-based Games

Mikuláš Zelinka, Xingdi Yuan+3 more|arXiv (Cornell University)|Oct 21, 2019

Topic Modeling参考文献 13被引用 8

一句话总结

本文提出了一种序列到序列的Transformer模型，能够从基于文本的游戏观测中生成动态知识图（KG）更新操作，使用了一个包含30万组游戏转换的新数据集。该模型通过利用带有学习关系嵌入的关联图卷积网络（relational graph convolutional networks），在错误累积的自由运行推理中显著提升了性能，优于基线模型。

ABSTRACT

We are interested in learning how to update Knowledge Graphs (KG) from text. In this preliminary work, we propose a novel Sequence-to-Sequence (Seq2Seq) architecture to generate elementary KG operations. Furthermore, we introduce a new dataset for KG extraction built upon text-based game transitions (over 300k data points). We conduct experiments and discuss the results.

研究动机与目标

• 开发一种通用方法，用于在交互式环境中从自然语言文本动态更新知识图。
• 解决在部分可观察、基于文本的游戏环境中保持准确且不断演化的世界知识的挑战。
• 创建一个数据集，以支持在真实、非攻略路径的游戏转换中训练和评估动态KG更新模型。
• 通过从文本观测中学习生成精确的KG更新操作，提升强化学习智能体的世界建模能力。

提出的方法

• 该模型采用双编码器架构：基于Transformer的文本编码器用于处理先前动作和新观测，图编码器用于表示先前的信念图。
• 带有学习关系嵌入的关联图卷积网络（R-GCN）对KG进行编码，捕捉关系的结构和语义信息。
• 基于注意力的聚合器融合文本和图表示，生成上下文感知的隐藏状态，供解码器使用。
• 解码器在训练期间使用教师强制策略，以逐 token 的方式生成KG更新操作序列；在推理时采用自回归解码。
• 该模型使用负对数似然损失进行训练，并以与RDF三元组兼容的格式生成操作。
• 所提出的方法在包含30万组基于文本的游戏转换的新数据集上进行评估，其中从游戏状态转换中提取了真实标签KG。

实验结果

研究问题

• RQ1 神经序列到序列模型能否有效从基于文本的游戏中的自然语言观测中生成精确的KG更新操作？
• RQ2 在图编码器中引入关联信息如何影响动态KG更新的准确性？
• RQ3 从离策略转换（非攻略路径动作）中学习是否能提升KG更新模型在真实强化学习环境中的鲁棒性？
• RQ4 错误累积效应如何影响KG更新模型在自由运行推理场景中的性能？
• RQ5 能够编码关系标签语义的关系嵌入是否能提升通用性，超越标准R-GCN？

主要发现

• 采用R-GCN和关系嵌入的模型在自由运行设置下取得了最高的F1分数0.697，显著优于缺乏关联信息的模型。
• 带有关系嵌入的R-GCN变体相比标准R-GCN，自由运行F1提升了5.2个百分点，表明语义关系建模的重要性。
• 模型性能从教师强制下的0.965 F1下降至自由运行下的0.697 F1，表明在迭代KG更新中错误累积带来的挑战。
• 使用关系嵌入使自由运行F1相比标准R-GCN提升了5.2个百分点，凸显了建模关系语义的优势。
• 采用标准Transformer编码器且无图编码器的模型在教师强制下仅取得0.832 F1，表明图结构对高性能至关重要。
• 包含离策略动作的30万组转换数据集，可支持在强化学习环境中实现稳健训练并提升泛化能力。