[论文解读] Citation Text Generation.

Kelvin Luu, Rik Koncel-Kedziorski+3 more|arXiv (Cornell University)|Feb 2, 2020

Topic Modeling参考文献 22被引用 15

一句话总结

本文提出了引文文本生成这一任务，要求生成自然语言引文以解释两篇科学文献之间的关系。作者建立了基准语料库并提出了基线模型，表明当前方法能够生成看似合理的引文，但在事实一致性与细微推理方面仍存在困难。

ABSTRACT

We introduce the task of citation text generation: given a pair of scientific documents, explain their relationship in natural language text in the manner of a citation from one text to the other. This task encourages systems to learn rich relationships between scientific texts and to express them concretely in natural language. Models for citation text generation will require robust document understanding including the capacity to quickly adapt to new vocabulary and to reason about document content. We believe this challenging direction of research will benefit high-impact applications such as automatic literature review or scientific writing assistance systems. In this paper we establish the task of citation text generation with a standard evaluation corpus and develop several strong baseline models. We provide extensive automatic and human evaluations to illustrate the successes and shortcomings of current text generation techniques for this task.

研究动机与目标

• 定义并形式化引文文本生成任务，即系统生成自然语言引文以解释科学文献之间的关系。
• 构建标准评估语料库，以实现对这一新任务模型的系统性基准测试。
• 构建强大的基线模型，能够生成上下文相关且语法正确的引文文本。
• 通过自动评估与人工判断相结合的方式，评估当前文本生成技术的质量与局限性。
• 识别高质量引文生成所需的关键挑战，包括文档理解、推理能力以及词汇适应能力。

提出的方法

• 该任务被建模为序列到序列的文本生成任务，输入为一对科学文献，输出为解释其关系的自然语言引文。
• 基线模型包括在科学文本上预训练并微调至引文生成任务的BART与T5架构。
• 训练数据从科学文献中的引文上下文中构建，其中将引用文献与被引用文献配对。
• 模型使用标准交叉熵损失进行序列生成优化，并在推理阶段采用束搜索解码。
• 评估包括自动指标（BLEU、ROUGE、BERTScore）与人工标注，评估内容包括流畅性、相关性与事实正确性。
• 构建并发布了一个新的基准语料库，其中包含经引文文本标注的成对文档关系。

实验结果

研究问题

• RQ1 现有序列到序列模型在生成准确反映两篇科学文献之间关系的自然语言引文方面表现如何？
• RQ2 当前模型在引文形式中捕捉科学论文之间语义与上下文关系的程度如何？
• RQ3 当前文本生成模型在生成事实一致且上下文恰当的引文时存在哪些关键局限性？
• RQ4 自动评估指标与人工对引文质量的判断之间相关性如何？
• RQ5 模型能否在未经微调的情况下泛化至科学文本中的新词汇与推理模式？

主要发现

• 所提出的基准语料库为评估引文文本生成模型提供了标准化资源。
• 微调后的T5与BART模型能够生成流畅且相关的引文文本，但在事实一致性方面存在显著局限。
• 自动指标如BERTScore与人工判断呈现中等程度相关性，但无法完全捕捉细微的事实正确性。
• 人工评估显示，模型常生成听起来合理但事实错误或语义模糊的引文。
• 模型在理解复杂关系（如对比、扩展或矛盾）方面表现困难。
• 该任务揭示了当前模型在理解科学内容及适应领域特定词汇方面存在显著差距。