[论文解读] The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

Microsoft Research AI Science, Microsoft Azure Quantum|arXiv (Cornell University)|Nov 13, 2023

Machine Learning in Materials Science被引用 59

一句话总结

本论文通过专家驱动的案例研究和有限的基准，评估GPT-4在药物发现、生物学、计算化学、材料设计和 PDEs 领域的能力，强调其在科学任务中的潜力与当前局限。

ABSTRACT

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.

研究动机与目标

• 评估GPT-4在选定的自然科学领域（药物发现、生物学、计算化学、材料设计、PDEs）上的知识与理解。
• 评估GPT-4在文献获取、概念澄清、数据分析、理论建模、方法指导和代码开发方面的能力。
• 识别优势与局限性，以为未来的模型开发以及与领域特定工具的集成提供信息。

提出的方法

• 通过 Azure OpenAI Service 使用 GPT-4（主要版本 0314，部分为 0613）。通过定性的专家驱动案例评估来研究各领域的理解与任务执行情况。
• 在定义良好的领域特定任务上进行偶发的定量基准测试，以补充案例研究。
• 分析 GPT-4 的知识库、科学理解、数值计算能力和预测能力。
• 评估输出的可解释性、一致性和准确性；识别局限性和偏差。

实验结果

研究问题

• RQ1 GPT-4 是否能够获取、分析并总结科学文献以帮助研究人员？
• RQ2 GPT-4 是否能够澄清科学概念并提供领域特定的定义？
• RQ3 GPT-4 是否能够分析数据、建立理论/计算模型并指导方法学？
• RQ4 GPT-4 是否能够预测结果、协助实验设计和代码开发？
• RQ5 GPT-4 在药物发现、生物学、计算化学、材料设计和 PDEs 方面的优势与局限性是什么？

主要发现

• GPT-4 在多种科学领域展现出广泛的领域知识和潜力。
• GPT-4 可以帮助药物发现任务，如分子操作、药物-靶点结合预测、性质预测和逆反应，，以及新分子生成和编码支持。
• 在生物学中，GPT-4 处理生物语言、生物信息学任务和设计推理，但在生物序列及研究不足的实体方面存在困难。
• 在计算化学中，GPT-4 支持电子结构的想法和分子动力学规划，但在精确原子坐标和精确计算方面可能有困难。
• 在材料设计中，GPT-4 促进知识检索、候选提案、结构生成和性质预测，但在复杂结构和精确定量预测方面存在挑战。
• 对于 PDEs，GPT-4 理解概念并可提出解析/数值方法及生成代码，但定理证明和独立发现新理论受限。
• 研究强调谨慎使用：核实输出、迭代改进提示，并考虑将 GPT-4 与领域特定工具结合以获得可靠结果。