[论文解读] Automatic Related Work Generation: A Meta Study

Xiangci Li, Jessica Ouyang|arXiv (Cornell University)|Jan 6, 2022

Advanced Text Analysis Techniques被引用 4

一句话总结

本篇综述性研究对科学 NLP 领域中自动相关工作生成技术进行了批判性评估，分析了近期研究中的问题设定、数据集、方法及评估方式。研究识别出若干关键挑战，包括缺乏标准化、过度依赖句子级单元、事实性问题以及领域范围有限等，同时倡导采用知识增强的多文档建模方法与标准化基准，以推动该领域超越当前以流畅性为导向、范围狭窄的系统。

ABSTRACT

Academic research is an exploration activity to solve problems that have never been resolved before. By this nature, each academic research work is required to perform a literature review to distinguish its novelties that have not been addressed by prior works. In natural language processing, this literature review is usually conducted under the "Related Work" section. The task of automatic related work generation aims to automatically generate the "Related Work" section given the rest of the research paper and a list of cited papers. Although this task was proposed over 10 years ago, it received little attention until very recently, when it was cast as a variant of the scientific multi-document summarization problem. However, even today, the problems of automatic related work and citation text generation are not yet standardized. In this survey, we conduct a meta-study to compare the existing literature on related work generation from the perspectives of problem formulation, dataset collection, methodological approach, performance evaluation, and future prospects to provide the reader insight into the progress of the state-of-the-art studies, as well as and how future studies can be conducted. We also survey relevant fields of study that we suggest future work to consider integrating.

研究动机与目标

• 提供对现有自动相关工作生成方法在科学 NLP 领域中的全面、对比性分析。
• 识别先前研究在问题设定、数据集构建与评估实践方面存在的关键空白与不一致之处。
• 指出方法论上的局限性，如对句子级单元的过度依赖以及对论文部分表示（如摘要）的依赖。
• 解决任务定义、评估指标与共享基准缺乏标准化的问题。
• 倡导整合外部知识、提升事实性，并将研究范围扩展至计算语言学领域之外。

提出的方法

• 对 10 余篇近期关于自动相关工作生成的研究进行综述性比较，涵盖问题设定、数据集收集、方法论、评估与未来方向。
• 分析方法论，包括神经序列模型、多文档编码器，以及引文网络与话语信号的整合。
• 使用自动评估指标（如 ROUGE）评估性能，并强调在事实性与连贯性方面缺乏人工评估。
• 提出一种改进数据收集的框架，结合人工与自动技术以提升效率与质量。
• 建议引入外部监督信号，如引文功能标签、显著性评分与知识库，以提升事实一致性。
• 强调需要建模全文表示，并开发端到端系统，以生成连贯、准确且简洁的相关工作部分。

实验结果

研究问题

• RQ1 现有研究在自动相关工作生成任务的设定上存在哪些差异？
• RQ2 主流的数据收集策略是什么？这些策略如何影响模型的泛化能力与评估？
• RQ3 当前方法在多大程度上依赖于简化假设，如句子级单元或仅基于摘要的表示？
• RQ4 当前的评估实践在衡量事实一致性、连贯性与信息量方面有多有效？
• RQ5 外部知识、引文网络与话语分析在提升生成相关工作部分质量方面可发挥何种作用？

主要发现

• 多数研究将摘要或结论作为全文的代理，这简化了被引文献的表示，限制了性能表现。
• 大多数系统将句子视为生成的基本单位，尽管有证据表明引文语境通常跨越多个句子或涉及多篇论文。
• 任务定义、数据集与评估协议方面存在显著缺乏标准化，导致跨研究比较困难。
• 当前模型常生成流畅但事实错误或幻觉内容，尤其当仅依赖神经序列模型而无外部知识时更为明显。
• 仅有少数研究关注最终相关工作部分的连贯性与结构，而更关注单个引文句子的生成。
• 该领域仍主要局限于计算语言学范畴，对自然科学或社会科学中相关工作生成的探索极为有限。