[论文解读] Multi-modal Molecule Structure-text Model for Text-based Retrieval and Editing

Shengchao Liu, Weili Nie+7 more|arXiv (Cornell University)|Dec 21, 2022

Computational Drug Discovery Methods被引用 22

一句话总结

MoleculeSTM 共同学习分子结构和文本描述，使用 PubChemSTM 的对比预训练实现零-shot 结构-文本检索和基于文本的分子编辑，在零-shot 任务上达到最先进的泛化，并在属性预测方面具有竞争力。

ABSTRACT

There is increasing adoption of artificial intelligence in drug discovery. However, existing studies use machine learning to mainly utilize the chemical structures of molecules but ignore the vast textual knowledge available in chemistry. Incorporating textual knowledge enables us to realize new drug design objectives, adapt to text-based instructions and predict complex biological activities. Here we present a multi-modal molecule structure-text model, MoleculeSTM, by jointly learning molecules' chemical structures and textual descriptions via a contrastive learning strategy. To train MoleculeSTM, we construct a large multi-modal dataset, namely, PubChemSTM, with over 280,000 chemical structure-text pairs. To demonstrate the effectiveness and utility of MoleculeSTM, we design two challenging zero-shot tasks based on text instructions, including structure-text retrieval and molecule editing. MoleculeSTM has two main properties: open vocabulary and compositionality via natural language. In experiments, MoleculeSTM obtains the state-of-the-art generalization ability to novel biochemical concepts across various benchmarks.

研究动机与目标

• 将文本知识与分子结构结合，以实现开放词汇表、零-shot 药物发现任务。
• 开发一个两分支的基础模型，使化学结构与自然语言描述对齐。
• 实现零-shot 结构-文本检索和基于文本的分子编辑，扩展设计与发现能力。
• 证明联合结构-文本预训练能提升下游属性预测并支持组合多目标任务。

提出的方法

• 两分支架构：化学结构分支（SMILES 或 2D 图）和文本描述分支（语言模型）。
• 通过对比学习进行联合表征以对齐结构和文本（p_c∘f_c 与 p_t∘f_t 在共享空间）。
• 在 PubChemSTM 上的预训练，这是一个有 281K 对的结构-文本数据集（251K 分子，281K 对）。
• 下游任务：零-shot 结构-文本检索和零-shot 基于文本的分子编辑，并在 MoleculeNet 属性预测上进行评估。
• 空间对齐和潜在空间编辑优化：适配器 m_g2f 和通过余弦相似度与 L2 项对潜在码 w 的优化。

实验结果

研究问题

• RQ1 开放词汇表的自然语言描述是否能桥接化学结构与领域知识，从而实现零-shot 任务？
• RQ2 双分支的 MoleculeSTM 在训练中未见的检索与编辑任务上一般化表现如何？
• RQ3 联合结构-文本预训练是否提升标准分子属性预测基准？
• RQ4 组成式提示能否在零-shot框架中实现多属性分子编辑？
• RQ5 基于文本引导的编辑对分子亚结构和属性的定性影响有哪些？

主要发现

• MoleculeSTM 在六个零-shot 检索任务和二十个零-shot 编辑任务上实现了最先进的泛化，显著优于基线。
• 开放词汇和组合性使得灵活的、文本引导的检索和多目标编辑在不微调的情况下成为可能。
• 在分子编辑中，MoleculeSTM 生成的输出分子与文本提示保持对齐，并反映领域有意义的结构变化。
• 在八个 MoleculeNet 属性预测任务中，MoleculeSTM 在微调后达到九个基线中的最佳总体性能。
• 定性分析表明模型捕捉到与提示相一致的有意义的官能团修改和子结构变化。