[论文解读] MolecularRNN: Generating realistic molecular graphs with optimized properties

Mariya Popova, Mykhailo Shvets+2 more|arXiv (Cornell University)|May 30, 2019

Computational Drug Discovery Methods被引用 67

一句话总结

MolecularRNN 是一种图递归模型，能够生成逼真的分子图，采用基于价的拒绝采样实现 100% 有效性，并通过策略梯度强化学习优化性质。

ABSTRACT

Designing new molecules with a set of predefined properties is a core problem in modern drug discovery and development. There is a growing need for de-novo design methods that would address this problem. We present MolecularRNN, the graph recurrent generative model for molecular structures. Our model generates diverse realistic molecular graphs after likelihood pretraining on a big database of molecules. We perform an analysis of our pretrained models on large-scale generated datasets of 1 million samples. Further, the model is tuned with policy gradient algorithm, provided a critic that estimates the reward for the property of interest. We show a significant distribution shift to the desired range for lipophilicity, drug-likeness, and melting point outperforming state-of-the-art works. With the use of rejection sampling based on valency constraints, our model yields 100% validity. Moreover, we show that invalid molecules provide a rich signal to the model through the use of structure penalty in our reinforcement learning pipeline.

研究动机与目标

• 开发一个基于图的分子结构生成器，直接将原子建模为节点、键建模为边。
• 通过推断和训练中的基于价的约束来确保化学有效性。
• 通过带有 critic 的强化学习来优化分子性质（如对数P、QED、熔点）。
• 通过大规模生成展示可扩展性，并与最先進方法进行对比。
• 在不同数据集上提供广泛的经验分析，以基准化生成质量和性质变化。

提出的方法

• 扩展 GraphRNN 以处理具有原子类型和键序的分子图（S_i^π ∈ {0,1,2,3} 和 C_i^π）。
• 使用广度优先搜索的节点排序以降低复杂度，并通过 NodeRNN 和 EdgeRNN 组件生成图。
• 应用基于价的拒绝采样来在边采样时强制化学价稳定（任一原子都不过度价）。
• 在大型分子数据集（ChEMBL、ZINC、MOSES）上进行无监督似然性预训练，以学习真实分布。
• 可选地，在训练期间应用结构惩罚以强化价约束并提高有效性。
• 使用带 critic 的策略梯度强化学习对生成的分子进行优化，以估计基于性质的奖励（如带惩罚的对数 P、QED、熔点）。

实验结果

研究问题

• RQ1 是否可以直接通过节点/边类型预测来生成分子图，从而得到有效、具有多样性且新颖的分子？
• RQ2 基于价的拒绝采样是否能在推断阶段保证 100% 的有效性，同时不牺牲多样性或质量？
• RQ3 基于策略梯度的优化是否能够将生成分子的分布朝向目标性质（对数P、QED、熔点）偏移？
• RQ4 在训练中使用结构惩罚对有效性和化学真实性有何影响？
• RQ5 MolecularRNN 与最先进的基于图和基于 SMILES 的生成器在大规模基准测试中如何对比？

主要发现

• 在推断阶段通过基于价的拒绝采样实现了 100% 的有效性。
• 在大型数据集上的无监督似然性预训练在 100 万个样本中表现出较高的有效性、唯一性、新颖性和内部多样性。
• MolecularRNN 在 3 万个样本上与 GCPN 和 JT-VAE 在有效性/唯一性/新颖性方面具有竞争力。
• 策略梯度优化将性质分布向目标区间偏移，优于基线，特别是在带惩罚的对数P 与 QED。
• 熔点优化表明该模型能够通过一个学习的预测器作为 critic 对图不可直接推导的性质进行优化。
• 结构惩罚在训练中提供信号，提升有效性与化学真实性。