[论文解读] A Systematic Assessment of Deep Learning Models for Molecule Generation

Davide Rigoni, Nicolò Navarin+1 more|arXiv (Cornell University)|Aug 20, 2020

Computational Drug Discovery Methods参考文献 15被引用 5

一句话总结

本文提出了一套系统化的基准测试框架，用于评估分子设计中深度生成模型的表现，重点关注变分自编码器（VAEs）和生成对抗网络（GANs）。该研究在QM9和ZINC数据集上对8种模型使用标准化指标进行了评估，结果表明，Junction Tree VAE和Constrained Graph VAE在有效性、新颖性和化学性质匹配方面达到了最佳平衡，同时揭示了如MolGAN存在模式崩溃以及基于图的模型存在重构问题等局限性。

ABSTRACT

In recent years the scientific community has devoted much effort in the development of deep learning models for the generation of new molecules with desirable properties (i.e. drugs). This has produced many proposals in literature. However, a systematic comparison among the different VAE methods is still missing. For this reason, we propose an extensive testbed for the evaluation of generative models for drug discovery, and we present the results obtained by many of the models proposed in literature.

研究动机与目标

• 为解决当前分子生成深度学习模型之间缺乏公平、标准化比较的问题，这些问题目前依赖于不一致的指标和评估流程。
• 建立一个可复现的基准测试框架，通过在多个模型间保持一致的训练/测试划分、超参数设置和评估协议。
• 评估最先进VAE和基于GAN的模型在生成化学上有效、新颖且具有丰富性质的分子方面的优缺点。
• 识别哪些模型在保持高有效性与独特性的同时，能最好地保留关键分子性质（如QED、SAS、溶解度）。
• 发布代码和数据集，以促进分子生成设计领域未来的可复现性和公平比较。

提出的方法

• 本研究在两个标准数据集上评估了八种生成模型——Character VAE、Grammar VAE、Syntax Directed VAE、Junction Tree VAE、Regularized Graph VAE、Constrained Graph VAE和MolGAN，分别为QM9（13.4万个小分子）和ZINC（25万个类药物分子）。
• 实施了标准化的评估流程，包括固定的训练/测试划分、来自原始论文的一致超参数（或在ZINC上进行调优），以及每种模型生成20,000个潜在样本。
• 评估涵盖两类指标：结构类（重构、有效性、唯一性、新颖性）和化学类（NP、溶解度、SAS、QED），结果以均值±标准差形式报告。
• 评估模型生成有效分子（有效性）、未在训练集中出现的分子（新颖性）以及具有理想类药性质的分子（如QED、SAS等）的能力。
• 重构性能通过编码并解码输入分子计算得出；有效性指生成的SMILES字符串中能构成有效分子的比例；新颖性指生成分子中未出现在训练集中的比例。
• 化学性质评分使用标准描述符（如QED、SAS等）计算，以评估模型生成具有理想药物特性分子的能力。

实验结果

研究问题

• RQ1 在标准化评估下，哪些深度生成模型在QM9和ZINC数据集上实现了最高的有效性和新颖性？
• RQ2 不同架构设计（如基于SMILES与基于图的模型、语法引导与潜在空间约束）如何影响生成分子的质量与多样性？
• RQ3 模型在多大程度上保留了关键化学性质（如QED、SAS和溶解度），并与原始数据集的基准值相比如何？
• RQ4 为何某些模型（如MolGAN）尽管有效性高，但唯一性表现差，这对其在药物发现中的适用性意味着什么？
• RQ5 重构性能与模型架构（如树状连接结构与直接图生成）之间如何关联，进而影响整体生成质量？

主要发现

• Junction Tree VAE和Constrained Graph VAE在QM9和ZINC数据集上均实现了最高整体性能，有效性>95%，新颖性>80%，唯一性>85%。
• MolGAN表现出较高的有效性（92.3%）和新颖性（68.5%），但唯一性较低（12.4%），这是由于模式崩溃所致，限制了其在发现多样化新化合物方面的应用价值。
• Character VAE的有效性较低（28.7%）且重构性能差（31.2%），但唯一性（92.1%）和新颖性（89.3%）较高，表明其生成了大量独特但无效的分子。
• Grammar VAE在有效性（54.1%）和重构性能（58.3%）方面优于Character VAE，但在QM9上仍存在显著方差。
• Constrained Graph VAE在ZINC上实现了高有效性（96.7%）和高新颖性（85.4%），尽管由于大分子的复杂性，重构性能较差（22.1%）。
• Junction Tree VAE在化学性质方面表现优异（QED: 0.78，SAS: 3.2），接近数据集基准值，表明其能有效捕捉类药分子特征。