[论文解读] Learning Latent Space Energy-Based Prior Model for Molecule Generation

Bo Pang, Tian Han+1 more|arXiv (Cornell University)|Oct 19, 2020

Machine Learning in Materials Science参考文献 9被引用 7

一句话总结

该论文提出了一种基于潜在空间能量的先验模型，通过使用字符级SMILES字符串改进分子生成，无需显式化学规则约束即可实现有效且唯一的分子生成。通过在潜在空间中学习数据驱动的、表达能力强的先验，该模型在有效性、唯一性和分子性质分布匹配方面达到最先进性能，表明复杂化学规则可从数据中隐式学习。

ABSTRACT

Deep generative models have recently been applied to molecule design. If the molecules are encoded in linear SMILES strings, modeling becomes convenient. However, models relying on string representations tend to generate invalid samples and duplicates. Prior work addressed these issues by building models on chemically-valid fragments or explicitly enforcing chemical rules in the generation process. We argue that an expressive model is sufficient to implicitly and automatically learn the complicated chemical rules from the data, even if molecules are encoded in simple character-level SMILES strings. We propose to learn latent space energy-based prior model with SMILES representation for molecule modeling. Our experiments show that our method is able to generate molecules with validity and uniqueness competitive with state-of-the-art models. Interestingly, generated molecules have structural and chemical features whose distributions almost perfectly match those of the real molecules.

研究动机与目标

• 解决使用简单字符级SMILES表示法生成化学上有效且唯一的分子的挑战，此类方法在标准基于语言模型的方法中常导致无效或重复输出。
• 克服先前基于VAE的模型依赖简单各向同性高斯先验的局限性，此类先验可能阻碍对复杂化学规则的有效学习。
• 证明表达能力强的潜在空间先验可从数据中隐式学习化学规则，从而无需显式价键检查或基于片段的表示法。
• 在有效性、唯一性和分子性质分布匹配方面，实现与最先进图神经网络模型和基于片段模型相当的性能。
• 展示该模型可生成具有结构和化学特征（如logP、QED、SAS）的分子，其分布与真实数据高度一致，且无需在这些性质上进行显式监督。

提出的方法

• 提出一种混合生成模型，结合条件自回归生成器（基于LSTM）与学习到的潜在空间能量基先验，替代VAE中的标准各向同性高斯先验。
• 将先验形式化为吉布斯分布：$ p_{\bar{\alpha}}(z) = \frac{1}{Z(\alpha)} \exp(f_{\alpha}(z)) p_0(z) $，其中 $ f_{\alpha}(z) $ 是一个神经网络，用于学习对基础高斯分布的数据驱动校正。
• 使用变分推断框架，结合重参数化技巧和短时马尔可夫链蒙特卡洛（MCMC）方法，近似后验期望。
• 采用两阶段学习过程：首先通过MCMC近似后验 $ p_{\theta}(z|x) $，然后基于近似后验的梯度估计更新模型参数 $ \alpha $ 和 $ \beta $。
• 利用低维潜在空间高效执行MCMC采样，提升训练过程中的混合效率与收敛速度。
• 生成器网络为单层LSTM，自回归地预测基于潜在码的独热编码SMILES标记，从而实现高效且有效的分子生成。

实验结果

研究问题

• RQ1 基于潜在空间能量基先验的模型能否仅使用字符级SMILES字符串生成化学上有效且唯一的分子，而无需显式化学规则约束？
• RQ2 在潜在空间中学习复杂且数据驱动的先验，是否能从原始SMILES数据中隐式捕捉复杂的化学规则（如价键饱和度和芳香性）？
• RQ3 与真实数据相比，生成分子在分子性质分布（如logP、QED、SAS）上的匹配程度如何，尤其是在未对这些性质进行显式监督的情况下？
• RQ4 该方法能否在有效性、唯一性和性质匹配方面达到与最先进图神经网络模型和基于片段模型相当的性能？
• RQ5 该模型的表达能力在多大程度上超越标准VAE中各向同性高斯先验的模型，在生成真实且多样化的分子方面表现更优？

主要发现

• 所提出的模型在ZINC数据集上生成10,000个分子时，有效性达到95.5%，唯一性达到100%，优于标准LM基模型，并与性能最佳的基于片段和图神经网络模型相当。
• 该模型生成的分子在分子性质分布（logP、QED、SAS）方面与训练数据中真实分子的分布高度一致，即使未对这些性质进行显式监督。
• 与FragmentVAE相比，所提模型在匹配分子性质分布方面表现更优，表明其具有更强的泛化能力和表达能力。
• 该模型实现100%新颖性，即所有生成分子均为唯一且未出现在训练集中，证明其具备强大的泛化能力与多样性。
• 结果表明，通过灵活的潜在先验，复杂化学规则可从数据中隐式学习，从而减少对图神经网络模型中显式约束（如价键检查）的依赖。
• 该模型的性能表明，表达能力强的潜在先验可弥补字符级SMILES表示法的简单性，实现高质量分子生成，而无需复杂的网络架构。