[论文解读] Graph Mixture Density Networks

Federico Errica, Davide Bacciu+1 more|arXiv (Cornell University)|Dec 5, 2020

Bioinformatics and Genomic Networks参考文献 40被引用 4

一句话总结

本文提出图混合密度网络（GMDN），一种新颖的深度学习框架，将图神经网络与混合密度网络相结合，用于在任意图结构数据上建模多模态条件输出分布。GMDN在合成流行病模拟基准和真实世界分子性质预测任务中，在基于似然的密度估计方面达到最先进性能，显著优于基线模型，在捕捉输出不确定性方面表现优异。

ABSTRACT

We introduce the Graph Mixture Density Networks, a new family of machine learning models that can fit multimodal output distributions conditioned on graphs of arbitrary topology. By combining ideas from mixture models and graph representation learning, we address a broader class of challenging conditional density estimation problems that rely on structured data. In this respect, we evaluate our method on a new benchmark application that leverages random graphs for stochastic epidemic simulations. We show a significant improvement in the likelihood of epidemic outcomes when taking into account both multimodality and structure. The empirical analysis is complemented by two real-world regression tasks showing the effectiveness of our approach in modeling the output prediction uncertainty. Graph Mixture Density Networks open appealing research opportunities in the study of structure-dependent phenomena that exhibit non-trivial conditional output distributions.

研究动机与目标

• 为解决在图结构数据中建模多模态条件输出分布的挑战，标准回归模型因仅输出单峰预测而失效。
• 将混合密度网络（MDNs）扩展至图结构上，实现对复杂、依赖结构的现象的条件密度估计。
• 在一项新颖的基准上评估模型，该基准涉及随机图上的随机流行病模拟，其中图结构和多模态性均至关重要。
• 在涉及分子图的真实世界回归任务中，证明模型在建模预测不确定性方面的有效性。
• 展示GMDN可在不同图拓扑和规模间迁移知识，提升在未见图结构上的泛化能力。

提出的方法

• GMDN 使用图神经网络（GNN）编码器从输入图中生成共享的潜在表示，该表示随后用于参数化输出分布的混合。
• GNN 的输出被输入至混合密度头，该头预测目标变量的高斯分量混合权重、均值和方差。
• 通过最大似然估计进行模型训练，优化真实目标值在预测混合分布下的对数似然。
• 混合密度头使模型能够输出完整的概率分布，捕捉给定输入图的多个合理结果。
• 该架构支持节点级和图级输出分布，实现对具有复杂条件依赖关系的结构化数据的灵活建模。
• 通过在一种图族（如 Erdős–Rényi）上训练并在另一族（如 Barabási–Albert）上测试，评估迁移学习性能，评估其在不同拓扑间的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否有效建模基于任意图结构的多模态输出分布？
• RQ2 在真实应用中，引入图结构如何改善对复杂、非高斯条件分布的建模？
• RQ3 GMDN 框架是否能在不同图拓扑间泛化，例如从 Erdős–Rényi 网络到 Barabási–Albert 网络？
• RQ4 与标准 GNN 或 MDN 相比，GMDN 是否能更好地捕捉分子性质回归中的预测不确定性？
• RQ5 在合成和真实世界图基准上，该模型的似然性能与 DGN 和 MDN 等强基线相比如何？

主要发现

• 在流行病模拟基准中，GMDN 的对数似然显著高于所有基线模型，RAND 基线为 -27.12，而 GMDN 在 alchemy_full 数据集上达到 -0.57。
• 在 ZINC_full 数据集上，GMDN 的对数似然为 -0.75，优于次优模型 DGN 的 -0.90，表明其密度估计能力更优。
• 在 alchemy_full 数据集上，GMDN 的对数似然为 -0.57，标准差为 1.4，表明其在不同训练运行中表现稳健且一致。
• 在输出分布的可视化中，GMDN 明确捕捉到了偶极矩预测的两个独立模式，而 DGN 则坍缩为两个模式之间的单一高斯分布，未能体现不确定性。
• 在 ER-100 图上训练的模型在泛化至更大图族（如 BA-200、BA-500）时，优于在 BA-100 上训练的模型，表明更具挑战性的源任务可提升迁移能力。
• 各模型的 MAE 分数相近，但 GMDN 的对数似然显著更优，证实其在点估计性能相当的情况下，对不确定性的建模更准确。