[论文解读] 3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation

Huaisheng Zhu, Teng Xiao+1 more|arXiv (Cornell University)|Mar 11, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

3M-Diffusion 提出了一种新颖的潜在多模态扩散模型，用于文本引导的分子图生成，通过图自编码器将分子映射到与文本嵌入对齐的连续潜在空间。通过在这一对齐的潜在空间中训练扩散模型，该方法能够生成多样化、新颖且语义准确的分子结构，以匹配文本描述，在多个基准测试中优于当前最先进（SOTA）方法。

ABSTRACT

Generating molecular structures with desired properties is a critical task with broad applications in drug discovery and materials design. We propose 3M-Diffusion, a novel multi-modal molecular graph generation method, to generate diverse, ideally novel molecular structures with desired properties. 3M-Diffusion encodes molecular graphs into a graph latent space which it then aligns with the text space learned by encoder-based LLMs from textual descriptions. It then reconstructs the molecular structure and atomic attributes based on the given text descriptions using the molecule decoder. It then learns a probabilistic mapping from the text space to the latent molecular graph space using a diffusion model. The results of our extensive experiments on several datasets demonstrate that 3M-Diffusion can generate high-quality, novel and diverse molecular graphs that semantically match the textual description provided.

研究动机与目标

• 解决现有方法在从文本描述生成多样化和新颖分子图方面的局限性。
• 克服 SMILES 编码在分子生成中导致的退化和结构模糊性问题。
• 在束搜索或贪婪解码之外，提升文本引导分子生成的多样性与质量。
• 通过提示工程实现对具有期望性质（如溶解度、类药物性）的分子的条件生成。
• 通过对齐文本与分子图潜在空间，建立统一的多模态分子生成框架。

提出的方法

• 图自编码器将分子图编码为连续潜在空间，将结构复杂性与生成过程解耦。
• 通过大规模分子-文本对语料库上的对比学习预训练文本和分子图编码器，以对齐其潜在表示。
• 潜在扩散模型学习从文本条件潜在空间到分子图潜在空间的概率映射。
• 扩散过程在连续潜在空间中进行，实现在保持结构保真度的同时实现高层语义控制。
• 从潜在空间解码生成的分子，并评估其有效性、新颖性以及与输入文本的语义一致性。
• 通过提示工程实现条件生成，特定的文本提示可引导模型生成具有期望分子性质的分子。

实验结果

研究问题

• RQ1 潜在多模态扩散模型能否生成与给定文本描述语义匹配的多样化和新颖分子图？
• RQ2 对齐文本与分子图的潜在空间在多大程度上提升了生成质量和多样性？
• RQ3 该模型能否在无条件和文本引导的分子图生成任务中均优于当前最先进方法？
• RQ4 通过提示条件控制，该模型在多大程度上能生成具有期望性质（如高 logP、类药物性）的分子？
• RQ5 该模型在保持与参考分子结构相似性的同时，如何平衡引入新颖结构成分的程度？

主要发现

• 3M-Diffusion 在生成多样化和新颖分子图方面优于当前最先进方法（包括 MolT5-large），同时保持了与文本提示的高语义一致性。
• 与 MolT5-large 相比，该模型生成的分子具有更高的 logP 值，表明通过提示条件控制可改善溶解性性质。
• 定性分析表明，3M-Diffusion 生成的分子在保持与参考分子（如黄酮类）较高结构相似性的同时，引入了新颖的取代基。
• 消融研究证实，文本与分子图潜在空间之间的对齐对性能至关重要，当移除对齐时性能显著下降。
• 该模型成功生成了与真实分子共享常见药效团结构的分子，证明其能够保留关键药效团特征。
• 该方法在四个真实世界基准测试中均表现出色，证实其在文本引导分子生成任务中的鲁棒性与泛化能力。