[论文解读] DERGMs: Degeneracy-restricted exponential random graph models

Vishesh Karwa, Sonja Petrović+1 more|arXiv (Cornell University)|Dec 9, 2016

Complex Network Analysis Techniques参考文献 29被引用 5

一句话总结

本文提出了一种新型指数族随机图模型——退化性受限指数族随机图模型（DERGMs），该模型将模型支持限制在退化性有界的图上，即现实世界网络中常见的稀疏性度量。通过将样本空间限制在k-退化图上，DERGMs 消除了退化行为，稳定了充分统计量，并实现了快速可靠的MCMC推断，显著改善了标准ERGMs的模型行为与估计性能。

ABSTRACT

Exponential random graph models, or ERGMs, are a flexible and general class of models for modeling dependent data. While the early literature has shown them to be powerful in capturing many network features of interest, recent work highlights difficulties related to the models' ill behavior, such as most of the probability mass being concentrated on a very small subset of the parameter space. This behavior limits both the applicability of an ERGM as a model for real data and inference and parameter estimation via the usual Markov chain Monte Carlo algorithms. To address this problem, we propose a new exponential family of models for random graphs that build on the standard ERGM framework. Specifically, we solve the problem of computational intractability and `degenerate' model behavior by an interpretable support restriction. We introduce a new parameter based on the graph-theoretic notion of degeneracy, a measure of sparsity whose value is commonly low in real-worlds networks. The new model family is supported on the sample space of graphs with bounded degeneracy and is called degeneracy-restricted ERGMs, or DERGMs for short. Since DERGMs generalize ERGMs -- the latter is obtained from the former by setting the degeneracy parameter to be maximal -- they inherit good theoretical properties, while at the same time place their mass more uniformly over realistic graphs. The support restriction allows the use of new (and fast) Monte Carlo methods for inference, thus making the models scalable and computationally tractable. We study various theoretical properties of DERGMs and illustrate how the support restriction improves the model behavior. We also present a fast Monte Carlo algorithm for parameter estimation that avoids many issues faced by Markov Chain Monte Carlo algorithms used for inference in ERGMs.

研究动机与目标

• 为解决标准指数族随机图模型（ERGMs）中概率质量集中在少数图上的著名退化性问题。
• 通过基于图退化性（一种稀疏性度量）的支撑限制，提升模型稳定性和估计可靠性。
• 开发一种计算上可行且可解释的替代标准ERGMs的方法，保留灵活性的同时避免病态行为。
• 证明将支撑限制在k-退化图上可得到非退化模型，其似然函数表现更优，且MCMC收敛性更好。

提出的方法

• 提出DERGMs作为一类新的指数族模型，其定义域限制为退化性至多为k的图，其中k为用户定义的参数。
• 利用图论中的k核概念定义退化性：即k核非空的最大k值。
• 将模型的支撑限制在所有退化性 ≤ k 的图的集合上，从而排除极端密集或病态的子图。
• 证明在此限制下，稳定充分统计量可推出模型行为非退化，推广了先前的稳定性定义。
• 开发一种快速的分层蒙特卡洛算法用于参数估计，避免了标准MCMC在退化ERGMs中混合缓慢的问题。
• 实现一种有序采样策略以提高效率并支持并行化，同时在必要时通过顶点置换实现完整支撑覆盖。

实验结果

研究问题

• RQ1 将ERGMs的支撑限制在k-退化图上是否能消除退化模型行为？
• RQ2 退化性限制是否导致充分统计量稳定且似然函数非退化？
• RQ3 在受限模型空间中能否实现快速可靠的MCMC估计？
• RQ4 退化性参数k的选择如何影响模型行为与似然形状？
• RQ5 支撑限制是否具有可解释性，并与现实世界网络的稀疏性模式相容？

主要发现

• 具有有界退化性的DERGMs表现出显著改善的似然行为，其最大似然附近的对数似然曲面更陡峭，表明估计稳定性更高。
• 模拟的模型多面体在合理图上更均匀地分配概率，减少了对极端低概率图的集中。
• 将支撑限制在k-退化图上可严格稳定充分统计量，进而保证模型非退化。
• 所提出的分层蒙特卡洛算法实现了快速可靠的参数估计，避免了标准MCMC在ERGMs中常见的不收敛问题。
• 对于边-三角形ERGM，使用小k值的DERGMs可消除退化性，产生更可解释且行为良好的推断结果。
• 该方法在大规模网络上具有良好的可扩展性，已在集群上成功实现并行化，支持数百甚至数千个节点的应用。