[论文解读] AstroLLaMA: Towards Specialized Foundation Models in Astronomy

Tuan Nguyen, Yuan-Sen Ting+22 more|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用 4

一句话总结

AstroLLaMA 是一个在 arXiv 上 30 万篇天文学摘要上微调的 70 亿参数语言模型，与 LLaMA-2 相比困惑度降低 30%，并能生成更具科学相关性、上下文感知的文本补全。尽管参数量更少，其嵌入质量与领域特异性表现仍优于最先进模型。

ABSTRACT

Large language models excel in many human-language tasks but often falter in highly specialized domains like scholarly astronomy. To bridge this gap, we introduce AstroLLaMA, a 7-billion-parameter model fine-tuned from LLaMA-2 using over 300,000 astronomy abstracts from arXiv. Optimized for traditional causal language modeling, AstroLLaMA achieves a 30% lower perplexity than Llama-2, showing marked domain adaptation. Our model generates more insightful and scientifically relevant text completions and embedding extraction than state-of-the-arts foundation models despite having significantly fewer parameters. AstroLLaMA serves as a robust, domain-specific model with broad fine-tuning potential. Its public release aims to spur astronomy-focused research, including automatic paper summarization and conversational agent development.

研究动机与目标

• 弥合天文学领域专用大语言模型的空白，因为通用大语言模型常出现幻觉或缺乏领域特定准确性。
• 克服现有模型（如 astroBERT）的局限性，后者为非生成式模型，仅限于判别性任务。
• 开发一个高性能、生成式的基础模型，专为天文学设计，支持摘要、问答和假说生成等下游任务。
• 提升嵌入的语义表征能力，以捕捉天文学文献中细微的科学差异。
• 通过公开发布权重和训练数据，支持社区驱动的模型优化，推动负责任、准确且富有创造性的科学应用。

提出的方法

• 在 arXiv 的 astro-ph 类别中精选的 326,238 篇天文学摘要数据集上，对 LLaMA-2（67 亿参数）进行微调，总计约 9500 万个 token。
• 采用因果语言建模，使用 AdamW 优化（β₁=0.9，β₂=0.999），序列长度为 512 个 token，并使用 [BOS] 和 [EOS] token 标记序列边界。
• 在数据集的 7700 万个 token 上进行训练，保留 20% 用于评估，学习率设为 1e-5，训练 100 个周期。
• 通过困惑度和嵌入向量之间的余弦相似度评估性能，以衡量语义可区分性。
• 通过零样本和 few-shot 提示，在科学推理和上下文感知生成任务上，将模型输出与 GPT-3 和 LLaMA-2 进行对比。
• 在 Hugging Face 上公开发布模型权重和训练数据，以支持社区的模型适配与对齐改进。

实验结果

研究问题

• RQ1 微调后的、参数规模更小的大语言模型是否能在生成科学准确且上下文相关的天文学文本方面优于通用大语言模型？
• RQ2 与通用模型相比，领域特定微调在多大程度上降低了困惑度并改善了嵌入的语义表征？
• RQ3 AstroLLaMA 在生成连贯、事实合理且领域特定的科学补全方面，与 GPT-4 和 LLaMA-2 相比表现如何？
• RQ4 AstroLLaMA 的微调嵌入是否能比通用嵌入更准确地区分语义上不同的天文物理情境？
• RQ5 AstroLLaMA 在科学推理中的主要失败模式是什么，特别是在数值准确性与事实一致性方面？

主要发现

• AstroLLaMA 在天文学摘要数据集上的困惑度比 LLaMA-2 低 30%，表明其在下一词预测和领域适应方面表现更优。
• 该模型在上下文感知和假说生成任务中，生成的文本补全比 LLaMA-2 和 GPT-4 更具洞察力和科学相关性。
• AstroLLaMA 的嵌入在成对余弦相似度上表现出显著更高的方差（范围为 0.7–0.9），表明其在不同天文学主题间具有更强的可区分能力。
• 与 GPT-3 不同，后者常因基于关键词匹配而混淆语境（例如，“magnetized” 在不同语境下被误用），AstroLLaMA 能够正确区分语义差异。
• AstroLLaMA 准确识别出相关科学关联（如将斯皮策望远镜观测与恒星形成联系起来），而 GPT-3 因缺乏关键词对齐而失败。
• 尽管表现优异，该模型仍存在知识空白（例如，对 Gaia-ESO 数据中恒星候选体的估计错误）并生成虚构的数值数据，凸显了在对齐与事实一致性方面仍需改进。