[论文解读] Interactive Molecular Discovery with Natural Language

Zheni Zeng, Bangchen Yin+8 more|arXiv (Cornell University)|Jun 21, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出对话式分子设计，这是一种新颖的交互范式，使研究人员能够使用自然语言描述和编辑目标分子。作者提出ChatMol，一种知识增强的生成模型，通过整合实验性质和三维分子空间知识，将自然语言与化学语言相连接，在分子生成和理解任务中显著提升性能，且相比现有方法训练成本更低。

ABSTRACT

Natural language is expected to be a key medium for various human-machine interactions in the era of large language models. When it comes to the biochemistry field, a series of tasks around molecules (e.g., property prediction, molecule mining, etc.) are of great significance while having a high technical threshold. Bridging the molecule expressions in natural language and chemical language can not only hugely improve the interpretability and reduce the operation difficulty of these tasks, but also fuse the chemical knowledge scattered in complementary materials for a deeper comprehension of molecules. Based on these benefits, we propose the conversational molecular design, a novel task adopting natural language for describing and editing target molecules. To better accomplish this task, we design ChatMol, a knowledgeable and versatile generative pre-trained model, enhanced by injecting experimental property information, molecular spatial knowledge, and the associations between natural and chemical languages into it. Several typical solutions including large language models (e.g., ChatGPT) are evaluated, proving the challenge of conversational molecular design and the effectiveness of our knowledge enhancement method. Case observations and analysis are conducted to provide directions for further exploration of natural-language interaction in molecular discovery.

研究动机与目标

• 为解决当前分子设计系统中技术门槛高、交互性低的问题，这些系统依赖SMILES等专业化学符号。
• 实现以自然语言为主要媒介的灵活、多轮人机交互，用于分子设计。
• 弥合自然语言描述与化学语言表示（如SMILES）在分子任务中的语义鸿沟。
• 通过注入领域特定的分子知识——尤其是实验性质和三维结构信息——增强语言模型，以提高准确性和可解释性。
• 开发一种可扩展的知识增强生成模型，支持在对话环境中同时实现分子理解与生成。

提出的方法

• 作者设计了一套对话式分子设计框架，用户通过多轮对话与模型交互，使用自然语言描述、检索或修改分子。
• 提出ChatMol，一种在SMILES字符串和生物化学文献上进行联合预训练的微调生成式预训练语言模型，以学习跨语言关联。
• 为注入分子知识，模型在知识库中的实验性质数据（如自然语言描述的物理和化学性质）以及分子工具包计算得到的空间结构信息（如键类型、环系统、芳香性）上进行训练。
• 采用基于规则的过滤流程，从现有分子-描述平行数据集构建ChEBI-dia数据集，确保高质量、多样化的对话样本。
• 模型在SMILES和自然语言文本上均采用掩码语言建模，随后通过跨语言对齐头将自然语言实体映射到其对应的化学表达式。
• 通过双重监督实现知识注入：(1) 从文献中识别实体并查找SMILES，(2) 使用基于力场的构象生成方法整合三维结构特征。

Figure 1: Conversational molecular design diagram.

实验结果

研究问题

• RQ1 自然语言能否作为有效且直观的接口，用于交互式分子设计，从而替代或补充传统的化学符号？
• RQ2 如何使单个语言模型在对话环境中有效且协同地理解与生成自然语言和化学语言？
• RQ3 注入特定领域的分子知识（如实验性质和三维结构特征）在多大程度上能提升模型在分子生成与理解任务中的性能？
• RQ4 所提出的知识增强模型在准确性、效率和泛化能力方面，与标准大型语言模型及现有分子模型相比表现如何？
• RQ5 在真实描述存在模糊或不完整的情况下，评估对话式分子设计系统面临的主要挑战是什么？

主要发现

• ChatMol在分子理解与生成任务中显著优于基线模型，包括ChatGPT等大型语言模型，证明了知识注入的有效性。
• 与大规模模型相比，该模型在实现卓越性能的同时训练成本大幅降低，表明其具有极高的参数效率。
• 通过整合知识库中的实验性质和三维空间结构信息，模型在生成化学上合理且功能上合理的分子方面能力显著提升。
• 案例研究显示，ChatMol能够正确理解涉及性质约束和结构修改的复杂自然语言指令，例如“使其更疏水”或“添加一个苯环”。
• 通过基于规则的过滤构建的ChEBI-dia数据集，为未来对话式分子设计研究提供了宝贵的基准。
• 尽管结果令人鼓舞，但评估仍具挑战性，主要源于自然语言描述的模糊性以及描述与分子之间缺乏一一对应关系。

Figure 2: Knowledgeable and versatile training process for ChatMol. The black arrows indicate the input to output direction of the task.