[论文解读] AcademicGPT: Empowering Academic Research

Shufa Wei, Xiaolong Xu+22 more|arXiv (Cornell University)|Nov 21, 2023

Topic Modeling被引用 4

一句话总结

AcademicGPT 是一个基于 LLaMA2-70B 在 1200 亿 token 的学术语料上微调的领域专用大语言模型，该语料包括研究论文、学位论文以及高质量的中文学术内容。它在通用基准（MMLU、CEval）、中文基准（CEval）以及专业学术基准（PubMedQA、SCIEval、ComputerScienceQA）上均表现出色，支持诸如 AI 辅助论文阅读、论文评审、标题/摘要生成以及多轮学术问答等高级应用。

ABSTRACT

Large Language Models (LLMs) have demonstrated exceptional capabilities across various natural language processing tasks. Yet, many of these advanced LLMs are tailored for broad, general-purpose applications. In this technical report, we introduce AcademicGPT, designed specifically to empower academic research. AcademicGPT is a continual training model derived from LLaMA2-70B. Our training corpus mainly consists of academic papers, thesis, content from some academic domain, high-quality Chinese data and others. While it may not be extensive in data scale, AcademicGPT marks our initial venture into a domain-specific GPT tailored for research area. We evaluate AcademicGPT on several established public benchmarks such as MMLU and CEval, as well as on some specialized academic benchmarks like PubMedQA, SCIEval, and our newly-created ComputerScienceQA, to demonstrate its ability from general knowledge ability, to Chinese ability, and to academic ability. Building upon AcademicGPT's foundation model, we also developed several applications catered to the academic area, including General Academic Question Answering, AI-assisted Paper Reading, Paper Review, and AI-assisted Title and Abstract Generation.

研究动机与目标

• 通过开发专用于科学文献的专用大语言模型，应对学术研究中信息过载的挑战。
• 克服通用大语言模型在理解复杂学术细微差别方面的局限性，尤其是在技术性和领域特定语境下。
• 通过 AI 驱动的阅读、评审和内容生成工具，实现高效、准确且上下文感知的学术工作流。
• 通过在精选学术语料上进行持续预训练，证明其在提升领域特定推理能力和知识保留方面的有效性。
• 通过面向实际应用的部署方式，弥合先进大语言模型能力与真实学术研究需求之间的差距。

提出的方法

• 在由学术论文、学位论文、领域特定内容以及高质量中文学术数据组成的 1200 亿 token 语料上，对 LLaMA2-70B 进行持续预训练。
• 利用 ReAct 框架构建一个具备记忆和推理能力的多轮、上下文感知的通用学术问答代理。
• 设计一个监督微调流程，使用 100 万份标注的研究论文，训练用于标题和摘要预测的生成模型。
• 将输入数据格式化为 "Introduction Experiments Results <begin_generate>Title:content;Abstract:content"，以引导条件生成。
• 开发四项核心应用：通用学术问答、AI 辅助论文阅读、基于 AI 的论文评审，以及 AI 辅助标题/摘要生成。
• 采用特殊标记如 <begin_generate>，以结构化且可靠的方式触发和控制生成过程。

实验结果

研究问题

• RQ1 在精选学术语料上采用持续预训练策略，是否能显著提升大语言模型在学术推理与知识基准上的表现？
• RQ2 像 AcademicGPT 这类领域专用大语言模型，在理解和生成科学内容方面，与通用大语言模型相比能有多大程度的性能优势？
• RQ3 基于 AcademicGPT 构建的 AI 辅助工具在支持真实学术工作流（如论文阅读、评审和内容生成）方面有多高效？
• RQ4 ReAct 框架能否被有效适配，以在多轮学术对话中保持上下文连贯性和推理质量？
• RQ5 数据格式化与微调对生成的学术标题和摘要的连贯性与相关性有何影响？

主要发现

• AcademicGPT 在 MMLU 和 CEval 上表现优异，展现出强大的通用知识与推理能力。
• 在 PubMedQA 和 SCIEval 等专业基准上，AcademicGPT 展现出在生物医学与科学推理任务中的显著能力。
• 新构建的 ComputerScienceQA 基准证实了 AcademicGPT 在计算机科学特定知识与问题解决能力方面的强大表现。
• AI 辅助论文阅读系统能有效总结复杂的学术内容，突出关键发现，提升理解效率。
• 基于 AI 的论文评审系统提供具有批判性且上下文感知的反馈，显著提升了学术写作的质量与清晰度。
• 标题与摘要生成系统输出连贯、相关且准确，评估中仅出现极低的准确率损失，如真实研究论文的案例研究所示。