[论文解读] Galactica: A Large Language Model for Science

Ross Taylor, Marcin Kardas+7 more|arXiv (Cornell University)|Nov 16, 2022

Mathematics, Computing, and Information Processing被引用 257

一句话总结

Galactica 是一个大型、经过精心筛选的科学语言模型，旨在存储、整合并推理科学知识，在若干科学相关任务上达到最先进的结果，并实现与科学数据的多模态交互。

ABSTRACT

Information overload is a major obstacle to scientific progress. The explosive growth in scientific literature and data has made it ever harder to discover useful insights in a large mass of information. Today scientific knowledge is accessed through search engines, but they are unable to organize scientific knowledge alone. In this paper we introduce Galactica: a large language model that can store, combine and reason about scientific knowledge. We train on a large scientific corpus of papers, reference material, knowledge bases and many other sources. We outperform existing models on a range of scientific tasks. On technical knowledge probes such as LaTeX equations, Galactica outperforms the latest GPT-3 by 68.2% versus 49.0%. Galactica also performs well on reasoning, outperforming Chinchilla on mathematical MMLU by 41.3% to 35.7%, and PaLM 540B on MATH with a score of 20.4% versus 8.8%. It also sets a new state-of-the-art on downstream tasks such as PubMedQA and MedMCQA dev of 77.6% and 52.9%. And despite not being trained on a general corpus, Galactica outperforms BLOOM and OPT-175B on BIG-bench. We believe these results demonstrate the potential for language models as a new interface for science. We open source the model for the benefit of the scientific community.

研究动机与目标

• 通过创建一个能够存储、整合和推理科学知识的语言模型，激发和解决科学领域的信息过载问题。
• 开发一个经过筛选的规范化科学语料库以及与多种模态（LaTeX、SMILES、氨基酸、DNA）互动的专门接口。
• 在知识密集型的科学任务和推理基准上展示最先进的性能。
• 探究在经过筛选的语料库中重复令牌是否能够提升上游和下游的性能。

提出的方法

• 在一个106B令牌的经过筛选的科学语料库上训练仅解码器的 Transformer（GeLU 激活、2048 上下文窗口、无偏置、可学习的位置嵌入）。
• 使用一个50k词元的BPE词汇表以及用于引用、推理工作记忆、SMILES、氨基酸和DNA序列的专用标记。
• 在预训练时将提示混合于通用数据之中，以增强与任务相关的信号（如化学性质、问答、摘要、推理等）。
• 通过知识探针（LaTeX 方程、领域探针）和下游任务（PubMedQA、MedMCQA、MMLU、MATH）进行评估，以基准知识、推理和多模态能力。

实验结果

研究问题

• RQ1 经过筛选、规范化的科学语料库是否能够使仅解码器的 LLM 有效存储并推理科学知识？
• RQ2 在经过筛选的数据集中重复令牌如何同时影响上游训练损失与下游科学表现？
• RQ3 在预训练期间的任务上下文提示是否在不损害通用性的前提下提升对科学和非科学任务的表现？
• RQ4 在一个模型中，LLM 在多大程度上能够学习并利用 LaTeX、SMILES、氨基酸序列和 DNA 等模态？
• RQ5 与通用 LLM 相比，Galactica 在知识密集型基准和专业下游任务上的表现如何？

主要发现

• 在一个 120B 模型中，重复令牌继续在四个时期内改善验证损失和下游表现，最大的模型只有在近第五个时期才出现初步过拟合。
• LaTeX 方程知识随规模提升，120B 在 LaTeX 方程探针上的分数为 68.2%，GPT-3 为 49.0%。
• Galactica 在 PubMedQA（77.6%）和 MedMCQA 开发集（52.9%）上达到最先进水平。
• 在推理基准上，Galactica 在 MMLU 上超过 Chinchilla（41.3% vs 35.7%）以及在 MATH 上超过 PaLM 540B（20.4% vs 8.8%）。
• 尽管未在通用语料库上进行训练，Galactica 在 BIG-bench 上的表现超过 BLOOM 和 OPT-175B，并展示了与 SMILES 和氨基酸序列的多模态能力。