[论文解读] Language models in molecular discovery

Nikita Janakarajan, Tim Erdmann+3 more|arXiv (Cornell University)|Sep 28, 2023

Machine Learning in Materials Science被引用 5

一句话总结

本文综述了语言模型——特别是基于变压器架构的模型——在加速分子发现中的应用，重点聚焦于从头药物设计、性质预测和反应化学。研究表明，通过聊天机器人接口将大型语言模型与化学信息学工具结合，使非专业人士能够通过自然语言执行复杂的化学任务，显著降低了人工智能驱动分子设计的门槛。

ABSTRACT

The success of language models, especially transformer-based architectures, has trickled into other domains giving rise to "scientific language models" that operate on small molecules, proteins or polymers. In chemistry, language models contribute to accelerating the molecule discovery cycle as evidenced by promising recent findings in early-stage drug discovery. Here, we review the role of language models in molecular discovery, underlining their strength in de novo drug design, property prediction and reaction chemistry. We highlight valuable open-source software assets thus lowering the entry barrier to the field of scientific language modeling. Last, we sketch a vision for future molecular design that combines a chatbot interface with access to computational chemistry tools. Our contribution serves as a valuable resource for researchers, chemists, and AI enthusiasts interested in understanding how language models can and will be used to accelerate chemical discovery.

研究动机与目标

• 综述语言模型在药物设计、性质预测和反应化学等领域的分子发现加速中的作用。
• 突出展示开源软件工具如何降低研究人员和化学家在科学语言建模领域的入门门槛。
• 提出一个未来分子设计的愿景，即通过聊天机器人接口与计算化学工具集成，实现实时、人工智能辅助的发现。
• 展示大型语言模型与化学信息学工作流实际集成的方法，实现通过自然语言驱动的分子生成与分析。

提出的方法

• 利用在分子表示（如SMILES、SELFIES和InChI）上微调的基于变压器的语言模型进行序列建模。
• 采用基于提示的微调方法，使语言模型适应多任务科学推理，包括分子生成和性质预测。
• 通过API调用将预训练的语言模型与外部化学信息学工具（如PubChem、RDKit、GT4SD）集成，以实现化学任务的程序化执行。
• 采用检索增强生成（RAG）和工具增强提示技术，提升分子任务中的推理能力和准确性。
• 开发并演示了一款聊天机器人界面（如ChemChat），可解析自然语言查询，并协调调用外部工具完成分子识别、logP计算、QED评分以及基于性质的生成任务。
• 使用回归变压器和子结构约束生成方法，生成具有特定性质的分子，如提高的logP值。

实验结果

研究问题

• RQ1 语言模型如何被有效应用于加速化学中的早期药物发现？
• RQ2 大型语言模型在无需编程专业知识的情况下，能在多大程度上实现自然语言查询与复杂化学信息学工作流之间的对接？
• RQ3 当大型语言模型与GT4SD或PubChem等外部工具集成时，其在分子性质预测和生成方面的性能如何？
• RQ4 语言模型与化学信息学工具的集成如何提升人工智能驱动分子设计的可用性和可及性？
• RQ5 基于大型语言模型的聊天机器人能否可靠地执行多步骤化学推理任务，如分子识别、性质计算和生成设计？

主要发现

• 在分子序列（如SMILES）上微调的语言模型能够学习结构化表示，从而实现对化学空间的性质驱动探索。
• 仅含250M参数的Multitask Text and Chemistry T5模型，在常见除草剂的重新发现任务中，表现优于参数更大的模型（如ChatGPT和Galactica）。
• 如ChemChat等聊天机器人界面成功执行了复杂工作流——如分子识别、logP和QED计算——通过协调调用PubChem和GT4SD等外部工具。
• 通过回归变压器模型实现的基于性质的分子生成，成功生成了三种目标logP为-0.5的可可碱类似物，展示了精确的约束性设计能力。
• 将语言模型与化学信息学工具集成，使非程序员也能通过自然语言执行高级化学任务，显著降低了进入门槛。
• 将语言模型与现有软件（如RDKit、GT4SD）融合，可实现异步计算和结构化响应格式，包括可视化和交互式数据输出。