[論文レビュー] Fast and scalable likelihood maximization for Exponential Random Graph Models

Nicolò Vallarano, Matteo Bruno+6 more|arXiv (Cornell University)|Jan 29, 2021

Complex Network Analysis Techniques被引用数 5

ひとこと要約

本稿では、指数型ランダムグラフモデル（ERGMs）における尤度最大化のための3つのアルゴリズム—ニュートン法、準ニュートン法、および固定点の手続き—を提案し、ベンチマークを実施した。精度、速度、スケーラビリティの観点から評価した。固定点法により、数十万ノードにのぼる大規模ネットワークにおいても、数秒で収束が可能となり、他の手法に比べてスケーラビリティに優れた性能を示した。

ABSTRACT

Exponential Random Graph Models (ERGMs) have gained increasing popularity over the years. Rooted into statistical physics, the ERGMs framework has been successfully employed for reconstructing networks, detecting statistically significant patterns in graphs, counting networked configurations with given properties. From a technical point of view, the ERGMs workflow is defined by two subsequent optimization steps: the first one concerns the maximization of Shannon entropy and leads to identify the functional form of the ensemble probability distribution that is maximally non-committal with respect to the missing information; the second one concerns the maximization of the likelihood function induced by this probability distribution and leads to its numerical determination. This second step translates into the resolution of a system of $O(N)$ non-linear, coupled equations (with $N$ being the total number of nodes of the network under analysis), a problem that is affected by three main issues, i.e. accuracy, speed and scalability. The present paper aims at addressing these problems by comparing the performance of three algorithms (i.e. Newton's method, a quasi-Newton method and a recently-proposed fixed-point recipe) in solving several ERGMs, defined by binary and weighted constraints in both a directed and an undirected fashion. While Newton's method performs best for relatively little networks, the fixed-point recipe is to be preferred when large configurations are considered, as it ensures convergence to the solution within seconds for networks with hundreds of thousands of nodes (e.g. the Internet, Bitcoin). We attach to the paper a Python code implementing the three aforementioned algorithms on all the ERGMs considered in the present work.

研究の動機と目的

• 指数型ランダムグラフモデル（ERGMs）における尤度最大化の計算的課題に取り組む。これは、O(N) 個の非線形で結合された方程式を解く必要がある。
• インターネットやビットコインのような大規模ネットワークにおいて、従来の手法が計算的に不可能になる状況を想定し、ERGM推論のスケーラビリティを向上させる。
• 二値および重み付き、有向および無向ERGMを対象として、ニュートン法、準ニュートン法、および固定点の手続きという3つの数値最適化アルゴリズムの性能を評価・比較する。
• 再現性とネットワーク科学分野への導入を支援するため、Pythonで実装された実用的でオープンソースの実装を提供する。

提案手法

• 小規模から中規模のネットワークにおいて、局所収束が速い第二階微分を用いたニュートン法をERGMの尤度最大化に実装する。
• ヘッセ行列の近似を用いることで計算コストを削減しながらも、妥当な収束速度を維持する準ニュートン法を適用する。
• 最近提案された固定点反復手続きを採用し、ヘッセ行列の計算を回避することで、大規模ネットワークにおける安定収束を実現する。
• 尤度最大化問題を、対数尤度関数の勾配から導かれるO(N)個の非線形方程式系の解法として定式化する。
• 二値および重み付き制約を含む、有向および無向ネットワークトポロジーの多様なERGMに対して、すべての3つのアルゴリズムをテストする。
• すべての検討されたERGMに適用可能な、3つのアルゴリズムのPython実装を公開し、再現可能性と利用可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ニュートン法、準ニュートン法、および固定点の手続きは、ERGM尤度最大化において、収束速度と精度の観点でどのように比較されるか？
• RQ2 インターネットやビットコインのような、数十万ノードにのぼる大規模ネットワークにおいて、どのアルゴリズムが最もスケーラブルか？
• RQ3 ニュートン法が計算的に費用がかかりすぎる大規模ERGMにおいて、固定点の手続きは数秒以内に信頼性のある収束を達成できるか？
• RQ4 二値および重み付きネットワークモデルにおいて、3つのアルゴリズムの間で、計算コストと収束品質のトレードオフはどのように変化するか？
• RQ5 有向ネットワークと無向ネットワークの構成において、各アルゴリズムの性能はどのように変化するか？

主な発見

• ニュートン法は、比較的小さなネットワークにおいて最高の精度と最も速い収束を達成するが、ネットワークサイズの増大に伴い計算コストが著しく増加する。
• 固定点の手続きにより、インターネットやビットコインのような数十万ノードにのぼるネットワークに対しても、解への収束が数秒で達成可能である。
• 大規模ネットワークにおいて、固定点法はニュートン法や準ニュートン法に比べ、スケーラビリティの観点で優れている。安定した収束を維持できる。
• 大規模ネットワークでは、固定点の手続きがニュートン法の代替として実用的である。高価なヘッセ行列の計算を回避しつつ、数値的安定性を保証する。
• 提案されたPython実装は、二値および重み付き、有向および無向モデルを含む、すべてのテスト済みERGMをサポートしており、広範な再現性と応用を可能にしている。