[论文解读] Improving Small Molecule Generation using Mutual Information Machine

Danny Reidenbach, Micha Livne+3 more|arXiv (Cornell University)|Aug 18, 2022

Computational Drug Discovery Methods被引用 11

一句话总结

MolMIM 是一种用于小分子生成的概率自编码器，通过互信息机器（MIM）学习从 SMILES 字符串中学习一个信息丰富、聚类良好且固定大小的潜在空间。它通过使用 CMA-ES 进行简单的潜在空间优化，实现了高质量、有效、唯一且新颖的小分子生成，在无需强化学习或复杂架构的情况下，实现了单目标与多目标优化的最先进性能。

ABSTRACT

We address the task of controlled generation of small molecules, which entails finding novel molecules with desired properties under certain constraints (e.g., similarity to a reference molecule). Here we introduce MolMIM, a probabilistic auto-encoder for small molecule drug discovery that learns an informative and clustered latent space. MolMIM is trained with Mutual Information Machine (MIM) learning, and provides a fixed length representation of variable length SMILES strings. Since encoder-decoder models can learn representations with ``holes'' of invalid samples, here we propose a novel extension to the training procedure which promotes a dense latent space, and allows the model to sample valid molecules from random perturbations of latent codes. We provide a thorough comparison of MolMIM to several variable-size and fixed-size encoder-decoder models, demonstrating MolMIM's superior generation as measured in terms of validity, uniqueness, and novelty. We then utilize CMA-ES, a naive black-box and gradient free search algorithm, over MolMIM's latent space for the task of property guided molecule optimization. We achieve state-of-the-art results in several constrained single property optimization tasks as well as in the challenging task of multi-objective optimization, improving over previous success rate SOTA by more than 5\% . We attribute the strong results to MolMIM's latent representation which clusters similar molecules in the latent space, whereas CMA-ES is often used as a baseline optimization method. We also demonstrate MolMIM to be favourable in a compute limited regime, making it an attractive model for such cases.

研究动机与目标

• 为解决在药物样性与靶标亲和力等性质约束下的可控小分子生成挑战。
• 学习一个密集、信息丰富且具有化学意义的潜在空间，使相似分子聚类，且无需显式性质监督。
• 通过潜在空间中的简单、无梯度搜索实现高效且有效的分子优化。
• 在计算资源受限条件下，实现单目标与多目标分子优化任务的卓越性能。
• 证明当与结构良好的潜在空间结合时，简单的优化策略（如 CMA-ES）可超越复杂方法。

提出的方法

• MolMIM 使用 Perceiver 编码器和 Transformer 解码器，将可变长度的 SMILES 字符串映射为固定大小的潜在表征。
• 该模型采用互信息机器（MIM）学习进行训练，以最大化输入分子与其潜在码之间的互信息。
• 提出一种 MIM 训练的新扩展，以促进密集潜在空间并减少随机潜在扰动产生的无效样本。
• 使用 CMA-ES（一种无梯度、黑箱优化算法）对潜在空间进行优化，以实现性质引导的小分子生成。
• 该方法在训练过程中无需强化学习或显式化学性质标签，而是依赖无监督预训练。
• 通过潜在码扰动生成新分子，有效性由模型学习到的密度和聚类性保证。

实验结果

研究问题

• RQ1 自监督的、经 MIM 训练的自编码器能否在无显式性质监督的情况下，学习到一个密集且信息丰富的潜在空间，使化学上相似的分子聚类？
• RQ2 当应用于结构良好的潜在空间时，简单的无梯度优化方法（如 CMA-ES）是否优于更复杂的优化策略？
• RQ3 与现有固定大小和可变大小模型相比，MolMIM 在生成分子的有效性、唯一性和新颖性方面提升了多少？
• RQ4 MolMIM 在具有冲突约束的多目标优化任务中（如平衡 QED、SA 分数和靶标抑制）的效率如何？
• RQ5 在计算资源受限的环境下，MolMIM 是否能保持高性能，从而使其适用于现实世界中的药物发现流程？

主要发现

• MolMIM 在示例引导初始化的多目标优化中实现了 99.2% 的成功率，优于 JANUS 和 FaST，在新颖性和多样性方面表现更优。
• 在单性质优化中，MolMIM 在 logP、QED 和 SA 分数上均达到最先进水平，最佳变体的有效性为 97.5%，新颖性为 71.1%。
• 该模型在多目标优化中表现卓越，49 次重启变体（MolMIM E†）实现了 49% 的成功率，同时保持了高新颖性和多样性。
• MolMIM 的潜在空间可实现从随机扰动中高质量生成，E 变体的有效性达 98.3%，新颖性为 55.1%，表明其表征具有密集性和鲁棒性。
• 该模型在无需强化学习的情况下取得具有竞争力的结果，表明潜在空间的质量比复杂优化算法更为关键。
• MolMIM 学习到的潜在空间隐式地对相似分子进行聚类，使得即使使用 CMA-ES 等简单搜索方法也能实现高效优化。