[论文解读] Knowledge Representation via Joint Learning of Sequential Text and Knowledge Graphs

Jiawei Wu, Ruobing Xie+2 more|arXiv (Cornell University)|Sep 22, 2016

Topic Modeling参考文献 24被引用 14

一句话总结

该论文提出了一种顺序文本-嵌入知识表征学习（STKRL），一种通过RNN/LSTM编码器和注意力机制联合整合顺序文本与知识图谱的模型，以改进实体表征。该方法通过有效选择信息丰富的句子并编码上下文语义，在三元组分类和链接预测任务中优于基线模型。

ABSTRACT

Textual information is considered as significant supplement to knowledge representation learning (KRL). There are two main challenges for constructing knowledge representations from plain texts: (1) How to take full advantages of sequential contexts of entities in plain texts for KRL. (2) How to dynamically select those informative sentences of the corresponding entities for KRL. In this paper, we propose the Sequential Text-embodied Knowledge Representation Learning to build knowledge representations from multiple sentences. Given each reference sentence of an entity, we first utilize recurrent neural network with pooling or long short-term memory network to encode the semantic information of the sentence with respect to the entity. Then we further design an attention model to measure the informativeness of each sentence, and build text-based representations of entities. We evaluate our method on two tasks, including triple classification and link prediction. Experimental results demonstrate that our method outperforms other baselines on both tasks, which indicates that our method is capable of selecting informative sentences and encoding the textual information well into knowledge representations.

研究动机与目标

• 通过利用文本信息丰富实体表征，解决大规模知识图谱中的数据稀疏性和计算效率低下问题。
• 通过捕捉实体描述中的顺序上下文与词序，克服先前工作中词袋模型的局限性。
• 动态识别并优先选择每个实体的信息性参考句子，过滤掉噪声或无关内容。
• 通过增强注意力的序列感知编码，将文本语义整合到知识表征学习中。
• 通过联合学习文本与知识图谱，提升下游任务（如链接预测与三元组分类）的性能。

提出的方法

• 使用带有池化操作的RNN或LSTM网络，将每个实体的参考句子编码为句子级表征，以保留顺序上下文信息。
• 应用注意力机制对每句话的有用性进行加权，实现对最相关句子的动态选择，用于实体表征。
• 利用注意力得分将句子级表征进行组合，为每个实体形成统一的、基于摘要的文本表征。
• 使用基于边际的得分函数（源自基于翻译的模型），将基于文本的实体表征与标准知识图嵌入进行融合。
• 采用端到端的联合目标进行模型训练，同时优化知识图补全与基于文本的表征学习。
• 利用多实例学习与注意力机制，建模每个实体的多条参考句子，提升模型的鲁棒性与信息量。

实验结果

研究问题

• RQ1 与词袋模型相比，从多条句子中提取的顺序文本表征是否能提升知识图嵌入的质量？
• RQ2 注意力机制是否能有效识别并优先选择对实体表征最有信息量的句子？
• RQ3 联合学习文本与知识图谱是否能提升链接预测与三元组分类任务的性能？
• RQ4 不同句子编码器（RNN与LSTM）及注意力融合方式对模型性能有何影响？
• RQ5 注意力机制能否作为定义提取的代理，识别出可作为实体定义的句子？

主要发现

• STKRL（LSTM+ATT）在链接预测任务中表现最佳，过滤基准下的平均排名（Mean Rank）为182，Hits@10达到81.2%。
• 该模型显著优于Wang的方法（原始数据Hits@10为50.9%，过滤后为78.2%）与TransE（原始数据Hits@10为46.5%），证明了序列建模与注意力机制的有效性。
• STKRL（RNN+P+ATT）在过滤数据上达到52.2%的Hits@10，表明池化与注意力机制的结合可显著提升表征质量。
• 注意力机制成功将类似定义的句子排在前列，其中61%的最高排名句子经人工验证为实体定义。
• 性能提升在N对N关系上最为显著，表明文本上下文对建模复杂、模糊关系至关重要。
• 案例研究证实，注意力机制能有效过滤无关句子，并优先选择语义丰富、信息量高的内容用于实体表征。