[论文解读] Large Language Models for Scientific Synthesis, Inference and Explanation

Yizhen Zheng, Huan Yee Koh+5 more|arXiv (Cornell University)|Oct 12, 2023

Machine Learning in Materials Science被引用 12

一句话总结

本文展示了通用大语言模型如何进行科学综合、从数据集中推断并解释预测，从而提升基于 ML 的分子性质任务。

ABSTRACT

Large language models are a form of artificial intelligence systems whose primary knowledge consists of the statistical patterns, semantic relationships, and syntactical structures of language1. Despite their limited forms of "knowledge", these systems are adept at numerous complex tasks including creative writing, storytelling, translation, question-answering, summarization, and computer code generation. However, they have yet to demonstrate advanced applications in natural science. Here we show how large language models can perform scientific synthesis, inference, and explanation. We present a method for using general-purpose large language models to make inferences from scientific datasets of the form usually associated with special-purpose machine learning algorithms. We show that the large language model can augment this "knowledge" by synthesizing from the scientific literature. When a conventional machine learning system is augmented with this synthesized and inferred knowledge it can outperform the current state of the art across a range of benchmark tasks for predicting molecular properties. This approach has the further advantage that the large language model can explain the machine learning system's predictions. We anticipate that our framework will open new avenues for AI to accelerate the pace of scientific discovery.

研究动机与目标

• 在自然科学任务中推动使用通用型 LLMs 来进行科学综合、推断和解释。
• 证明通过将 LLM 派生的综合与推断知识加入传统 ML 系统，可以提升预测性能。
• 展示 LLMs 在科学情境中对机器学习预测提供解释的能力。
• 突出人工智能在跨学科领域加速科学发现的潜力。

提出的方法

• 使用通用型 LLM 来从通常由专门的 ML 方法处理的科学数据集中推断。
• 用来自科学文献的综合知识来增强 ML 模型，以提升任务性能。
• 使 LLM 能为模型的预测生成解释。
• 在预测分子性质的基准任务上进行评估，以证明性能提升。
• 提供一个框架和讨论，以将基于 LLM 的综合与推断整合到科学 AI 工作流中。

实验结果

研究问题

• RQ1 通用型 LLM 能否以与专门 ML 算法相当的方式从科学数据集中推断？
• RQ2 用 LLM 派生的综合知识来增强 ML 系统，是否能提高科学任务的预测性能？
• RQ3 LLMs 能否在科学情境中为 ML 预测提供有意义的解释？
• RQ4 哪种框架最能支持使用 LLM 进行综合、推断和解释，以加速科学发现？

主要发现

• LLMs 能够通过数据集与文献来增强科学推断的知识。
• 结合 LLM 派生综合的增强系统在分子性质预测基准测试中超越了当前的最先进水平。
• 该方法为 ML 预测提供了可解释性强的解释。