[论文解读] Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning

Teo Sušnjak, Peter K. Hwang+4 more|arXiv (Cornell University)|Apr 8, 2024

Scientific Computing and Data Management被引用 11

一句话总结

本文展示了在领域特定的 SLR 论文上对开源大语言模型进行微调，以自动化系统综述的知识综合阶段，解决幻觉和来源审计问题，并通过复制符合 PRISMA 的 SLR 来验证该方法。

ABSTRACT

This research pioneers the use of fine-tuned Large Language Models (LLMs) to automate Systematic Literature Reviews (SLRs), presenting a significant and novel contribution in integrating AI to enhance academic research methodologies. Our study employed the latest fine-tuning methodologies together with open-sourced LLMs, and demonstrated a practical and efficient approach to automating the final execution stages of an SLR process that involves knowledge synthesis. The results maintained high fidelity in factual accuracy in LLM responses, and were validated through the replication of an existing PRISMA-conforming SLR. Our research proposed solutions for mitigating LLM hallucination and proposed mechanisms for tracking LLM responses to their sources of information, thus demonstrating how this approach can meet the rigorous demands of scholarly research. The findings ultimately confirmed the potential of fine-tuned LLMs in streamlining various labor-intensive processes of conducting literature reviews. Given the potential of this approach and its applicability across all research domains, this foundational study also advocated for updating PRISMA reporting guidelines to incorporate AI-driven processes, ensuring methodological transparency and reliability in future SLRs. This study broadens the appeal of AI-enhanced tools across various academic and research fields, setting a new standard for conducting comprehensive and accurate literature reviews with more efficiency in the face of ever-increasing volumes of academic studies.

研究动机与目标

• 推动使用经过微调的 LLM 以简化 SLR 的知识综合阶段。
• 开发将选定论文转换为微调数据集的方法。
• 降低 LLM 的幻觉/虚假输出并实现对模型对来源的回应进行审计。
• 通过复制符合 PRISMA 的 SLR 作为金标准来评估该框架。

提出的方法

• 提出一个以知识综合为重点的四步 SLR 自动化框架。
• 步骤 2a 使用 LLM 自动化从选定论文中提取问答数据并进行综合。
• 步骤 2b 插入显式的 knowledgeTokens，以将微调知识与预训练知识分开。
• 步骤 3 应用基于 PEFT 的微调和可选的检索增强生成 (RAG)。
• 步骤 4 使用自动化、可来源审计的评估数据集来验证事实准确性。

实验结果

研究问题

• RQ1 RQ1：经过微调和/或 RAG 的 LLM 是否能促进 SLR 的知识综合阶段？
• RQ2 RQ2：如何从 SLR 语料库中自动提取微调数据集？
• RQ3 RQ3：在相对较小、窄领域的数据集上是否可以有效进行微调？
• RQ4 RQ4：是否可以实现高保真度且可审计的源证据来源，并且哪些指标适用？
• RQ5 RQ5：所提出的方法是否可行以复制一篇已发表的 SLR？

主要发现

• 该框架旨在在实现知识综合自动化的同时，保持事实保真性和可审计的来源。
• PEFT 通过仅更新参数的子集来实现高效微调。
• RAG 可以通过领域特定文档来补充推断，从而改善事实基础。
• 通过一个用例演示该方法，该用例在学习分析领域复制了符合 PRISMA 的 SLR。
• 发布了一个 Python 包，以促进 LLM 微调的数据整理。
• 该研究倡导更新 PRISMA 指南以适应 AI 驱动的流程。