[论文解读] Learning to generate one-sentence biographies from Wikidata

Andrew M. Chisholm, Will Radford+1 more|arXiv (Cornell University)|Feb 21, 2017

Topic Modeling参考文献 27被引用 13

一句话总结

本文提出一种带有自编码目标的序列到序列循环神经网络，用于从Wikidata事实生成单句维基百科人物简介。该模型提升了事实召回率与生成质量，BLEU得分为41.0，且在人工偏好评估中优于模板基线模型，同时相比标准seq2seq模型减少了幻觉现象。

ABSTRACT

We investigate the generation of one-sentence Wikipedia biographies from facts derived from Wikidata slot-value pairs. We train a recurrent neural network sequence-to-sequence model with attention to select facts and generate textual summaries. Our model incorporates a novel secondary objective that helps ensure it generates sentences that contain the input facts. The model achieves a BLEU score of 41, improving significantly upon the vanilla sequence-to-sequence model and scoring roughly twice that of a simple template baseline. Human preference evaluation suggests the model is nearly as good as the Wikipedia reference. Manual analysis explores content selection, suggesting the model can trade the ability to infer knowledge against the risk of hallucinating incorrect information.

研究动机与目标

• 从结构化的Wikidata事实中生成准确、自然流畅的单句维基百科人物简介，尤其针对代表性不足的个体。
• 通过引入辅助自编码目标，缓解输入事实与生成文本之间的不匹配问题，提升事实召回率与一致性。
• 在BLEU之外，通过人工偏好判断以及对内容选择与幻觉现象的手动分析，评估模型性能。
• 探究生成与事实重建的联合学习是否能提升事实准确性与句子质量。
• 探讨神经知识到文本生成中知识推理与幻觉之间的权衡。

提出的方法

• 使用Luong注意力机制的序列到序列RNN模型，将扁平化的Wikidata字段-值对映射为单句人物简介。
• 引入一种新颖的辅助自编码目标，即模型需从其生成的输出中重建输入事实，从而提升输入与输出之间的对齐性。
• 模型在输入与输出之间使用共享词汇表，实现事实选择与表达的端到端学习。
• 训练数据包含超过40万组Wikidata-Wikipedia句子对，聚焦于15个人物相关字段。
• 采用基于模板的基线模型进行对比，通过严格字段填充生成句子，语言变化极少。
• 评估包括自动指标（BLEU）、人工偏好判断，以及对事实召回率、精确率与幻觉现象的手动分析。

实验结果

研究问题

• RQ1 神经序列到序列模型能否在提升事实一致性的情况下，从Wikidata事实中生成高质量的单句人物简介？
• RQ2 与标准seq2seq模型相比，引入自编码目标是否能提升事实召回率并减少幻觉？
• RQ3 在BLEU得分与人工偏好方面，该模型相较于简单模板基线模型的表现如何？
• RQ4 该模型在多大程度上能够推断或重述事实，而非简单复制？其幻觉风险如何？
• RQ5 在知识到文本生成任务中，BLEU等自动指标与人工质量判断的相关性如何？

主要发现

• 所提出的模型（s2s+ae）取得41.0的BLEU得分，显著优于基线seq2seq模型（33.1）与模板基线模型（21.1）。
• 在人工偏好评估中，该模型在40%的情况下优于维基百科参考文本，表明其人工评分质量较高。
• 自编码目标在不增加句子长度的情况下提升了事实召回率，每句包含5.2个事实（基线seq2seq为4.5个），同时保持高精确率（0.93）。
• 与基线seq2seq模型相比，该模型减少了幻觉现象，其精确率为0.93（相对于Wikidata输入），而模板基线精确率为0.96。
• 内容选择分析显示，该模型在常见事实（如职业、出生日期）上表现最佳，F1得分超过0.95；但在罕见事实（如出生地、政党）上表现较差，F1得分始终低于0.50。
• 手动分析表明，该模型能够推断与重述事实，但也存在偶尔幻觉现象，尤其在不常见字段上，凸显了推理与准确率之间的权衡。