[論文レビュー] DERGMs: Degeneracy-restricted exponential random graph models

Vishesh Karwa, Sonja Petrović+1 more|arXiv (Cornell University)|Dec 9, 2016

Complex Network Analysis Techniques参考文献 29被引用数 5

ひとこと要約

この論文は、実世界のネットワークで一般的なスパarsityの指標である「分岐度（degeneracy）」が上限であるグラフに制限されたサポートを持つ、新たなERGMクラスであるDegeneracy-Restricted Exponential Random Graph Models（DERGMs）を紹介する。k-分岐度グラフへのサンプル空間の制限により、DERGMsは退化行動を排除し、十分統計量を安定化させ、高速かつ信頼性の高いMCMC推定を可能にし、標準ERGMよりも顕著にモデルの挙動と推定性能を向上させる。

ABSTRACT

Exponential random graph models, or ERGMs, are a flexible and general class of models for modeling dependent data. While the early literature has shown them to be powerful in capturing many network features of interest, recent work highlights difficulties related to the models' ill behavior, such as most of the probability mass being concentrated on a very small subset of the parameter space. This behavior limits both the applicability of an ERGM as a model for real data and inference and parameter estimation via the usual Markov chain Monte Carlo algorithms. To address this problem, we propose a new exponential family of models for random graphs that build on the standard ERGM framework. Specifically, we solve the problem of computational intractability and `degenerate' model behavior by an interpretable support restriction. We introduce a new parameter based on the graph-theoretic notion of degeneracy, a measure of sparsity whose value is commonly low in real-worlds networks. The new model family is supported on the sample space of graphs with bounded degeneracy and is called degeneracy-restricted ERGMs, or DERGMs for short. Since DERGMs generalize ERGMs -- the latter is obtained from the former by setting the degeneracy parameter to be maximal -- they inherit good theoretical properties, while at the same time place their mass more uniformly over realistic graphs. The support restriction allows the use of new (and fast) Monte Carlo methods for inference, thus making the models scalable and computationally tractable. We study various theoretical properties of DERGMs and illustrate how the support restriction improves the model behavior. We also present a fast Monte Carlo algorithm for parameter estimation that avoids many issues faced by Markov Chain Monte Carlo algorithms used for inference in ERGMs.

研究の動機と目的

• 標準Exponential Family Random Graph Models（ERGMs）における、確率質量の大部分が少数のグラフに集中するという広く知られた退化問題に対処すること。
• グラフの分岐度というスパarsityの指標に基づくサポート制限を導入することで、モデルの安定性と推定の信頼性を向上させること。
• 病理的挙動を回避しながら柔軟性を維持する、計算的に扱いやすく解釈可能な標準ERGMの代替手法を構築すること。
• サポートをk-分岐度グラフに制限することで、非退化モデルが得られ、尤度関数がより良好に振る舞い、MCMC収束が改善されることを示すこと。

提案手法

• 分岐度が最大kであるグラフに制限された、新たな指数型分布族モデルとしてDERGMsを提案する。ここでkはユーザーが定義するパラメータである。
• 分岐度を定義するためにグラフ理論的コンセプトの「kコア」を用いる：kコアが空でない最大のk値である。
• 分岐度 ≤ k であるすべてのグラフの集合にモデルのサポートを制限することで、極めて密なまたは病理的である可能性のある部分グラフを除外する。
• この制限下で安定した十分統計量が得られることを証明し、それが非退化モデル挙動を意味することを示し、先行研究の安定性定義を一般化する。
• 標準ERGMのMCMCで見られる遅い混合を回避する、高速で階層的なモンテカルロアルゴリズムを提案してパラメータ推定を実現する。
• 効率性の向上と並列処理の可能性を高めるために、順序付けられたサンプリング戦略を実装し、完全なサポートカバレッジのための頂点順列のフォールバックを備える。

実験結果

リサーチクエスチョン

• RQ1 ERGMのサポートをk-分岐度グラフに制限することで、退化モデル挙動を排除できるか？
• RQ2 分岐度制限により、十分統計量が安定し、非退化尤度関数が得られるか？
• RQ3 制限されたモデル空間において、高速で信頼性の高いMCMC推定が達成可能か？
• RQ4 分岐度パラメータkの選択がモデル挙動と尤度形状に与える影響は何か？
• RQ5 サポート制限は解釈可能であり、現実のネットワークのスパarsityパターンと整合性を持つか？

主な発見

• 分岐度が上限であるDERGMsは、最大尤度回りの対数尤度曲面が急峻であるなど、尤度関数の挙動が顕著に改善されており、推定の安定性が向上している。
• 模擬されたモデルポリトープは、現実的でない極端な低確率グラフへの集中を減らし、より均等に確率を分散させる。
• k-分岐度グラフへのサポート制限は、十分統計量の安定化を明示的に保証し、それがモデルの非退化性を意味することを示している。
• 提案された階層的モンテカルロアルゴリズムにより、標準ERGMのMCMCで一般的に見られる収束不良を回避し、高速で信頼性の高いパラメータ推定が可能になった。
• エッジ-トライアングルERGMにおいて、小さなk値を用いたDERGMsは退化を排除し、より解釈可能で良好に振る舞う推定結果をもたらした。
• 本手法は大規模ネットワークに対してもスケーラブルであり、クラスタ上で並列処理が成功した例が得られ、数百～数千ノードの応用に適している。