[논문 리뷰] DERGMs: Degeneracy-restricted exponential random graph models

Vishesh Karwa, Sonja Petrović외 1명|arXiv (Cornell University)|2016. 12. 09.

Complex Network Analysis Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 실세계 네트워크에서 흔한 흐문도 측도인 제한된 분해성(degeneracy)을 갖는 그래프로 모델의 정의역을 제한하는 새로운 ERGM 클래스인 비퇴화 제한 지수 그래프 모델(DEGRMs)을 소개한다. k-분해성 그래프로 샘플 스페이스를 제한함으로써 DERGMs는 퇠퇴적 행동을 제거하고 충분 통계량을 안정화하며, 신속하고 신뢰할 수 있는 MCMC 추론을 가능하게 하여 기존 ERGM에 비해 모델 행동과 추정 성능을 크게 향상시킨다.

ABSTRACT

Exponential random graph models, or ERGMs, are a flexible and general class of models for modeling dependent data. While the early literature has shown them to be powerful in capturing many network features of interest, recent work highlights difficulties related to the models' ill behavior, such as most of the probability mass being concentrated on a very small subset of the parameter space. This behavior limits both the applicability of an ERGM as a model for real data and inference and parameter estimation via the usual Markov chain Monte Carlo algorithms. To address this problem, we propose a new exponential family of models for random graphs that build on the standard ERGM framework. Specifically, we solve the problem of computational intractability and `degenerate' model behavior by an interpretable support restriction. We introduce a new parameter based on the graph-theoretic notion of degeneracy, a measure of sparsity whose value is commonly low in real-worlds networks. The new model family is supported on the sample space of graphs with bounded degeneracy and is called degeneracy-restricted ERGMs, or DERGMs for short. Since DERGMs generalize ERGMs -- the latter is obtained from the former by setting the degeneracy parameter to be maximal -- they inherit good theoretical properties, while at the same time place their mass more uniformly over realistic graphs. The support restriction allows the use of new (and fast) Monte Carlo methods for inference, thus making the models scalable and computationally tractable. We study various theoretical properties of DERGMs and illustrate how the support restriction improves the model behavior. We also present a fast Monte Carlo algorithm for parameter estimation that avoids many issues faced by Markov Chain Monte Carlo algorithms used for inference in ERGMs.

연구 동기 및 목표

• 표준 지수족 랜덤 그래프 모델(ERGM)에서 대부분의 확률 질량이 작은 그래프 부분집합에 집중되는 잘 알려진 퇠퇴성 문제를 해결하기 위해.
• 분해성이라는 흐문도 측도를 기반으로 한 정의역 제한을 도입하여 모델 안정성과 추정 신뢰성을 향상시키기 위해.
• 병행성과 병렬 처리가 가능하면서도 병적인 행동을 피하면서도 유연성을 유지하는 기존 ERGM의 계산 가능하고 해석 가능한 대안을 개발하기 위해.
• 정의역을 k-분해성 그래프로 제한할 경우 비퇴화 모델이 되며, 이는 더 잘 조율된 우도와 향상된 MCMC 수렴을 이끌어낸다는 것을 보여주기 위해.

제안 방법

• 사용자가 정의한 매개변수 k 이하의 분해성을 갖는 그래프로 제한된 새로운 지수족 모델인 DERGMs를 제안한다.
• 분해성의 정의를 위해 그래프 이론적 개념인 k-핵(k-core)을 사용한다: k-핵이 비어있지 않은 최대 k 값이다.
• 모델의 정의역을 분해성 ≤ k인 모든 그래프의 집합으로 제한함으로써 극도로 높거나 병적인 부분그래프를 배제한다.
• 이 제한 조건 하에서 충분 통계량이 안정적이라는 것은 비퇴화 모델 행동을 암시하며, 이는 이전의 안정성 정의를 일반화한다.
• 기존 ERGM에서 퇠퇴적 행동으로 인해 느린 혼합이 발생하는 문제를 피하기 위해 빠르고 계층화된 몬테카를로 알고리즘을 개발한다.
• 효율성을 향상시키고 병렬 처리를 가능하게 하기 위해 잘 정렬된 샘플링 전략을 구현하며, 전체 정의역 커버리지 확보를 위해 정점 순열을 대체로 사용한다.

실험 결과

연구 질문

• RQ1 ERGM의 정의역을 k-분해성 그래프로 제한함으로써 퇠퇴적 모델 행동을 제거할 수 있는가?
• RQ2 분해성 제한이 안정적인 충분 통계량과 비퇴화 우도를 이끌어내는가?
• RQ3 제한된 정의역 공간에서 빠르고 신뢰할 수 있는 MCMC 추정이 가능할 수 있는가?
• RQ4 분해성 매개변수 k의 선택이 모델 행동과 우도 형태에 어떤 영향을 미치는가?
• RQ5 정의역 제한이 해석 가능하며 현실 세계 네트워크의 흐문도 패턴과 호환되는가?

주요 결과

• 제한된 분해성을 갖는 DERGMs는 최대 우도 근처에서 더 급격한 로그우도 표면을 보이며, 이는 추정 안정성이 향상되었음을 시사한다.
• 모의 실험에서 모델 다면체(polytope)는 현실적인 그래프들 사이에 확률을 더 균일하게 분포시키며, 극단적이고 낮은 확률을 갖는 그래프에 대한 집중을 줄였다.
• k-분해성 그래프로의 정의역 제한은 충분 통계량을 증명적으로 안정화시키며, 이는 모델의 비퇴화를 암시한다.
• 제안된 계층화된 몬테카를로 알고리즘은 기존 ERGM에서 흔한 수렴 불량 문제를 피하면서도 신속하고 안정적인 매개변수 추정을 가능하게 한다.
• 모서리-삼각형 ERGM의 경우, 작은 k 값으로 설정된 DERGMs는 퇠퇴성을 제거하고 더 해석 가능하고 잘 조율된 추정 결과를 도출한다.
• 이 방법은 대규모 네트워크에 잘 스케일링되며, 클러스터에서의 성공적인 병렬 처리가 입증되어 수백 또는 수천 개의 노드에 대한 응용을 지원한다.