[論文レビュー] Approximate Variational Estimation for a Model of Network Formation

Angelo Mele, Lingjiong Zhu|arXiv (Cornell University)|Feb 1, 2017

Markov Chains and Monte Carlo Methods参考文献 34被引用数 12

ひとこと要約

本稿は、指数型ランダムグラフモデル（ERGM）における計算的に扱いにくい正規化定数を推定するための決定的変分平均場近似法を提案する。Kullback-Leibler散逸の最小化を用いて、独立リンクモデルによる尤度の近似を実現する。非線形大偏差理論を応用し、近似誤差の厳密な上限と下限を確立し、ネットワークサイズが増加するにつれて誤差が消えることを証明することで、大規模ネットワークにおける一貫性のある推定を可能にする。

ABSTRACT

We develop approximate estimation methods for exponential random graph models (ERGMs), whose likelihood is proportional to an intractable normalizing constant. The usual approach approximates this constant with Monte Carlo simulations, however convergence may be exponentially slow. We propose a deterministic method, based on a variational mean-field approximation of the ERGM's normalizing constant. We compute lower and upper bounds for the approximation error for any network size, adapting nonlinear large deviations results. This translates into bounds on the distance between true likelihood and mean-field likelihood. Monte Carlo simulations suggest that in practice our deterministic method performs better than our conservative theoretical approximation bounds imply, for a large class of models.

研究の動機と目的

• 指数型ランダムグラフモデル（ERGM）における正規化定数の計算的非可解性が、最尤推定を困難にしている問題に対処すること。
• 密度が高くまたは強く依存するネットワークでは収束が遅いモンテカルロ法（MCMC-MLE）の問題を克服すること。
• MCMC-MLE や MPLE の代替として、理論的根拠に基づいた誤差境界を提供する決定的代替法を開発すること。
• ネットワークサイズが増加するにつれて、平均場近似が真の正規化定数に収束することを証明すること。
• 真の対数尤度と近似対数尤度の距離を制限することで、大規模ネットワークにおける信頼性の高い尤度ベース推論を可能にすること。

提案手法

• ERGMにおける扱いにくい正規化定数を、独立エッジを持つ単純なモデルの正規化定数に置き換える平均場近似を用いる。
• ERGMと平均場モデル間のKullback-Leibler散逸を最小化することで、最適な独立エッジ確率を導出する。
• ChatterjeeとDembo（2016）の非線形大偏差理論を応用し、正規化定数の近似誤差に対する明示的な上限と下限を導出する。
• モデルパラメータとリンク外部性に依存する境界を導出し、密度が高く、やや疎なネットワークに対して有効である。
• グラフンに基づく表現を用いて平均場近似を分析し、エッジスターモデルに対して扱いやすい境界を導出する。
• ネットワークサイズが増加するにつれて、平均場近似誤差がゼロに収束することを確立し、大規模ネットワークにおける一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 決定的で変分的平均場法は、ERGMにおけるMCMCに基づく推定の代替として一貫性があり、計算的に実行可能であるか？
• RQ2 ERGMにおける平均場正規化定数の近似誤差に対する理論的境界は何か？
• RQ3 ネットワークサイズが増加するにつれて近似誤差はどのように振る舞い、ゼロに収束するか？
• RQ4 平均場近似を用いて、真の対数尤度と近似対数尤度の距離をスアップノルムで制限できるか？
• RQ5 得られる近似推定量は、ネットワークが大きくなるにつれて真の最尤推定量に収束するか？

主な発見

• 本稿では、モデルパラメータとリンク外部性に依存する明示的な正規化定数の近似誤差の上限と下限を導出する。
• これらの境界は、密度が高く、やや疎なネットワークに対して有効であり、非線形大偏差理論を用いて導出された。
• ネットワークサイズが増加するにつれて、平均場近似誤差はゼロに収束し、近似尤度の一貫性が保証される。
• 真の対数尤度と近似対数尤度の距離は、ネットワークサイズが大きくなるにつれてスアップノルムでゼロに収束する。
• 厳密に凹関数である尤度に対しては、近似推定量が大規模ネットワークにおいて最尤推定量に収束する。
• モンテカルロシミュレーションの結果、理論的保守的境界よりも実際の性能が優れており、予測よりも速い収束を示している。