[论文解读] MolecularRNN: Generating realistic molecular graphs with optimized properties

Mariya Popova, Mykhailo Shvets+2 more|arXiv (Cornell University)|May 31, 2019

Computational Drug Discovery Methods参考文献 22被引用 55

一句话总结

MolecularRNN 是一个图形递归生成模型，逐原子构建分子图并遵循价键约束，实现 100% 的有效性，并通过策略梯度强化学习实现属性优化。

ABSTRACT

Designing new molecules with a set of predefined properties is a core problem in modern drug discovery and development. There is a growing need for de-novo design methods that would address this problem. We present MolecularRNN, the graph recurrent generative model for molecular structures. Our model generates diverse realistic molecular graphs after likelihood pretraining on a big database of molecules. We perform an analysis of our pretrained models on large-scale generated datasets of 1 million samples. Further, the model is tuned with policy gradient algorithm, provided a critic that estimates the reward for the property of interest. We show a significant distribution shift to the desired range for lipophilicity, drug-likeness, and melting point outperforming state-of-the-art works. With the use of rejection sampling based on valency constraints, our model yields 100% validity. Moreover, we show that invalid molecules provide a rich signal to the model through the use of structure penalty in our reinforcement learning pipeline.

研究动机与目标

• 通过基于真实图的生成来推动从头设计分子。
• 在推理阶段开发一个尊重化学价键的基于图的生成器。
• 通过强化学习实现对生成分子属性的优化。
• 对生成的分子进行大规模分析并与最先进方法进行比较。

提出的方法

• 将 GraphRNN 扩展到具有结点类型（原子）和边类型（键序）的分子图。
• 使用 BFS 排序来限制邻接预测并将边预测的 M 设置为 12。
• 在推理阶段应用基于价键的拒绝采样以保证 100% 化学有效性。
• 在训练中引入结构惩罚，以利用无效中间结构作为学习信号。
• 使用带评估者的策略梯度来优化目标属性（如 logP pen、QED、熔点）。
• 在大型分子数据集（ChEMBL、ZINC 250k、MOSES）上进行无监督预训练，以学习现实分布。

实验结果

研究问题

• RQ1 基于图的生成器是否能够产生多样、有效且新颖的分子图，且类似于真实的化学空间？
• RQ2 基于价键的拒绝采样是否在推理阶段能产生 100% 有效分子且不牺牲多样性？
• RQ3 强化学习是否能将生成分子的分布朝向预定义的属性范围（logP pen、QED、熔点）进行偏移？
• RQ4 将来自价键违规的结构惩罚引入训练是否改善训练信号和最终的有效性？
• RQ5 与 state-of-the-art 方法相比，MolecularRNN 在大规模生成和属性优化任务上表现如何？

主要发现

• 在大型数据集上的无监督似然训练实现了高有效性和多样性，在应用价键强制前有效性为 65%，在引入结构惩罚后提高到最多 90%，再通过基于价键的拒绝采样达到 100%。
• 在生成的 100 万个分子中，MolecularRNN 实现了高有效性（100%），在数据集之间的唯一性和新颖性接近最大，以及竞争性内部多样性和药性相似性指标。
• 与 JT-VAE 和 GCPN 相比，MolecularRNN 获得了可比的有效性和新颖性，同时具备更低的合成可得性分数和强劲的内部多样性。
• 策略梯度优化使分布朝着更高的被惩罚的 logP 和 QED 方向偏移，MolecularRNN 在顶级分子分数和分布偏移（QED）方面优于基线。
• 熔点优化表明模型可以通过促进芳香聚合和极性基团来提高 Tm，并使用图卷积预测器作为奖励。