[论文解读] When Large Language Models Meet Citation: A Survey

Yang Zhang, Yufei Wang+6 more|arXiv (Cornell University)|Sep 18, 2023

Topic Modeling被引用 5

一句话总结

本综述探讨了大型语言模型（LLMs）与引文分析之间的互利关系，展示了LLMs如何通过增强文本内引文任务（如分类、摘要和推荐）来提升性能，同时引文网络通过文档间关系和知识关联改善LLMs的预训练。主要贡献在于对当前方法的全面分类与综合，未来研究方向包括负责任的LLMs、少样本学习以及引文指令微调。

ABSTRACT

Citations in scholarly work serve the essential purpose of acknowledging and crediting the original sources of knowledge that have been incorporated or referenced. Depending on their surrounding textual context, these citations are used for different motivations and purposes. Large Language Models (LLMs) could be helpful in capturing these fine-grained citation information via the corresponding textual context, thereby enabling a better understanding towards the literature. Furthermore, these citations also establish connections among scientific papers, providing high-quality inter-document relationships and human-constructed knowledge. Such information could be incorporated into LLMs pre-training and improve the text representation in LLMs. Therefore, in this paper, we offer a preliminary review of the mutually beneficial relationship between LLMs and citation analysis. Specifically, we review the application of LLMs for in-text citation analysis tasks, including citation classification, citation-based summarization, and citation recommendation. We then summarize the research pertinent to leveraging citation linkage knowledge to improve text representations of LLMs via citation prediction, network structure information, and inter-document relationship. We finally provide an overview of these contemporary methods and put forth potential promising avenues in combining LLMs and citation analysis for further investigation.

研究动机与目标

• 考察LLMs如何提升文本内引文分析任务（如分类、摘要和推荐）的准确性与深度。
• 研究引文网络与文档间关系如何在LLMs预训练过程中增强文本表征能力。
• 识别当前研究中的空白，并提出整合LLMs与引文分析的未来研究方向。
• 通过基于引文的问责机制与知识定位，应对LLMs在伦理与技术层面的挑战。
• 通过指令微调统一多种引文相关任务（如功能分类、情感分析），以提升少样本泛化能力。

提出的方法

• 将LLMs分类为仅编码器（如BERT）、仅解码器（如GPT）和编码器-解码器（如T5）架构，用于引文上下文建模。
• 利用LLMs提取引文上下文的密集上下文表征，以提升分类与摘要性能。
• 将引文文本与引文图结构（如共引、参考网络）整合到LLM预训练中，以增强知识关联。
• 利用引文预测与网络结构信息作为训练信号，提升LLMs对多跳知识的理解能力。
• 应用指令微调，将引文任务（如功能分类、情感分析）统一到单一指令驱动框架中，以提升零样本泛化能力。
• 在LLM训练数据中扩展文本之外的内容，引入知识图谱与社交媒体链接，以丰富上下文理解。

实验结果

研究问题

• RQ1 LLMs如何被用于提升文本内引文分析任务（如分类、摘要和推荐）的准确性和深度？
• RQ2 引文网络与文档间关系在哪些方面能够增强LLMs的预训练过程并提升文本表征能力？
• RQ3 当前LLMs在处理引文相关任务时存在哪些局限性，特别是在零样本或少样本设置下？
• RQ4 基于引文的指令微调如何改善LLMs的多任务学习与泛化能力？
• RQ5 扩展引文网络（超越学术论文）在训练更鲁棒、知识更丰富的LLMs方面可能发挥何种作用？

主要发现

• LLMs通过捕捉复杂文本上下文，显著提升了文本内引文分析性能，在引文分类与摘要任务中实现了高质量结果。
• 将引文网络整合到LLM预训练中，增强了多跳知识理解能力，并在静态文本之外提升了文本表征质量。
• 引文预测与图结构信息作为有效信号，可引导LLM预训练并提升其推理能力。
• 对引文相关任务进行指令微调，可提升在零样本与少样本场景下的泛化能力与性能表现。
• 将引文网络扩展至知识图谱与社交媒体内容，可丰富LLM训练数据并支持更广泛的上下文理解。
• 现有LLMs在引文任务中展现出强大的少样本能力，但当在学术语料与引文专用指令上进行微调后，性能可进一步提升。