[论文解读] Graph Residual Flow for Molecular Graph Generation

Shion Honda, Hirotaka Akita+3 more|arXiv (Cornell University)|Sep 30, 2019

Machine Learning in Materials Science参考文献 30被引用 31

一句话总结

本文提出图残差流（GRF），一种用于分子图生成的新型可逆流模型，通过结合残差流与图卷积网络，实现无需划分节点特征的完全可逆性。GRF在参数量显著减少的情况下，实现了与GraphNVP相当的生成性能，支持高效、内存轻量级训练及大规模分子图的一次性生成。

ABSTRACT

Statistical generative models for molecular graphs attract attention from many researchers from the fields of bio- and chemo-informatics. Among these models, invertible flow-based approaches are not fully explored yet. In this paper, we propose a powerful invertible flow for molecular graphs, called graph residual flow (GRF). The GRF is based on residual flows, which are known for more flexible and complex non-linear mappings than traditional coupling flows. We theoretically derive non-trivial conditions such that GRF is invertible, and present a way of keeping the entire flows invertible throughout the training and sampling. Experimental results show that a generative model based on the proposed GRF achieves comparable generation performance, with much smaller number of trainable parameters compared to the existing flow-based model.

研究动机与目标

• 为解决现有基于流的分子图模型（尤其是需要严格特征划分的耦合流）在效率和表达能力方面的不足。
• 开发一种基于流的分子图生成模型，在保持可逆性的同时，实现对所有节点特征的复杂、非线性变换。
• 与先前的可逆模型（如GraphNVP）相比，显著减少模型参数量和内存使用，尤其适用于大规模分子图。
• 确保潜在空间平滑且双射，以支持高效的一次性生成和面向性质的分子设计。

提出的方法

• GRF将残差流与图卷积网络（GCNs）结合，使每一层均可更新所有节点特征，无需对潜在表示进行不相交的特征划分。
• 通过在每个残差块上应用谱归一化，强制保证可逆性，确保雅可比行列式有界且变换为双射。
• 对邻接矩阵变换（GraphLinear层）应用低秩近似，降低参数量，同时保持模型表达能力。
• 整个流通过归一化流目标端到端训练，利用变量变换公式实现精确似然计算。
• 通过反向映射进行推理与采样，实现从潜在码一次性生成有效分子图。
• 该方法兼容标准GCNs，可在统一框架中支持原子类型和键类型特征。

实验结果

研究问题

• RQ1 能否将残差流架构适配于分子图等图结构数据，同时保持可逆性？
• RQ2 在不进行特征划分的情况下，如何确保一种同时更新所有节点特征的基于流的模型具备可逆性？
• RQ3 基于流的分子图模型能否在远少于现有模型（如GraphNVP）的参数量下，实现具有竞争力的生成性能？
• RQ4 所提出模型学习到的潜在空间是否支持平滑插值与化学有效分子的一次性生成？

主要发现

• GRF在QM9和ZINC-250k数据集上的生成性能与GraphNVP相当，但模型尺寸显著减小。
• GRF模型仅需O(LR²(N²r + M²))参数，其中r为低秩近似秩，相比GraphNVP的O(LN²R²(N² + M²))参数量，远为内存高效。
• 对于含100个原子、批量大小为64的分子，GRF内存消耗约为21 GB（r=100），而GraphNVP需约2100 GB，导致在标准硬件上不可行。
• 学习到的潜在空间平滑且双射，支持一次性生成与通过潜在空间扰动实现有效的分子性质搜索。
• 由于具备精确可逆性，模型实现100%重建准确率，优于VAE-based模型需多次解码尝试的缺陷。
• 可视化结果表明，潜在空间轴线上分子结构呈现渐进、连续的演变，表明潜在表征具有意义且可解释。