[论文解读] GraphEBM: Molecular Graph Generation with Energy-Based Models

Meng Liu, Keqiang Yan+2 more|arXiv (Cornell University)|Jan 31, 2021

Machine Learning in Materials ScienceMaterials Science被引用 20

一句话总结

GraphEBM 提出了一种基于能量的模型，用于分子图生成，利用图神经网络参数化能量函数，通过朗之万动力学进行训练，并通过根据分子性质调整能量得分实现灵活、目标导向的生成。该方法在多个基准测试中实现了最先进性能，包括在 QM9 上达到 100% 的有效性与 97.01% 的新颖性，以及在 ZINC250k 上达到 99.96% 的有效性与 100% 的新颖性。

ABSTRACT

We note that most existing approaches for molecular graph generation fail to guarantee the intrinsic property of permutation invariance, resulting in unexpected bias in generative models. In this work, we propose GraphEBM to generate molecular graphs using energy-based models. In particular, we parameterize the energy function in a permutation invariant manner, thus making GraphEBM permutation invariant. We apply Langevin dynamics to train the energy function by approximately maximizing likelihood and generate samples with low energies. Furthermore, to generate molecules with a desirable property, we propose a simple yet effective strategy, which pushes down energies with flexible degrees according to the properties of corresponding molecules. Finally, we explore the use of GraphEBM for generating molecules with multiple objectives in a compositional manner. Comprehensive experimental results on random, goal-directed, and compositional generation tasks demonstrate the effectiveness of our proposed method.

研究动机与目标

• 为解决现有分子图生成方法中缺乏排列不变性的问题，该问题会为生成模型引入偏差。
• 开发一种新型基于能量的模型（GraphEBM），通过图神经网络参数化能量函数，实现内在的排列不变性。
• 通过基于目标分子性质调整能量得分，实现灵活控制，从而实现目标导向的分子生成。
• 探索同时满足多个目标的分子组合式生成，这是先前方法所不具备的能力。
• 在随机生成、目标导向生成和多目标生成任务中展示卓越性能。

提出的方法

• 使用图神经网络对能量函数 Eθ(X,A) 进行参数化，处理节点特征 X 和邻接张量 A，通过对称聚合实现排列不变性。
• 使用朗之万动力学训练能量函数，以近似最大似然，从非归一化的玻尔兹曼分布 e^(-Eθ(X,A)) 中采样。
• 引入一种灵活策略，根据目标分子性质（如 QED、pLogP）降低能量得分，通过引入与性质相关的项来修改能量函数，从而实现目标导向生成。
• 通过将多个针对特定性质的能量函数组合成单一复合能量函数，实现组合式生成，支持对多个目标的同步优化。
• 使用虚拟节点和虚拟边对不同大小的分子进行标准化，以在训练和生成过程中保持结构一致性。
• 利用训练集中已有的分子作为朗之万动力学的初始化点，以提升目标导向生成中的样本质量和收敛速度。

实验结果

研究问题

• RQ1 能否设计一种基于能量的模型，以在分子图生成中保持排列不变性，从而消除节点排序带来的偏差？
• RQ2 朗之万动力学能否有效训练基于能量的模型用于分子图生成，同时保持高有效性和新颖性？
• RQ3 能否修改能量函数以实现灵活的、基于性质的目标导向生成，并可调节对目标性质的影响程度？
• RQ4 GraphEBM 能否实现同时满足多个期望性质的分子组合式生成，超越现有方法的能力？
• RQ5 在多样化的分子生成基准测试中，GraphEBM 在有效性、唯一性和新颖性方面与最先进模型相比表现如何？

主要发现

• 在 QM9 数据集上，GraphEBM 实现了 100.00% 的有效性、97.90% 的唯一性和 97.01% 的新颖性，各项指标均优于现有方法。
• 在 ZINC250k 数据集上，GraphEBM 达到 99.96% 的有效性、98.79% 的唯一性和 100.00% 的新颖性，展现出接近完美的有效性与完全的新颖性，生成质量极高。
• 在 QED 目标导向生成中，GraphEBM 发现了 QED 分数高达 0.92 的新颖分子，显著优于基线方法。
• 在 Tanimoto 相似度 ≥0.8 的约束条件下，GraphEBM 能成功生成 pLogP 分数更高的分子，同时保持与初始分子的结构相似性。
• GraphEBM 通过组合多个针对特定性质的能量函数，实现组合式生成，可同时满足多个目标，这是先前方法所不具备的能力。
• 生成过程的可视化结果表明，GraphEBM 通过迭代朗之万采样学习到有意义的分子结构，具有稳定的收敛性和合理的化学键连接性。