[論文レビュー] A Simple Algorithm for Scalable Monte Carlo Inference

Alexander Borisenko, Maksym Byshkin+1 more|arXiv (Cornell University)|Jan 2, 2019

Complex Network Analysis Techniques参考文献 35被引用数 5

ひとこと要約

本稿では、分割関数が計算不能な指数型分布族モデル（例えば、イジングモデル、マーコフ確率的場、指数型ランダムグラフモデル（ERGM））における最尤推定（MLE）のための単純でスケーラブルなアルゴリズムを提案する。この手法は、均衡期待値推定と1反復あたり1回のメトロポリス・ハスティングス手順を組み合わせることで、数10万ノード、数十億のリンクを持つネットワークに対してもMLEを可能にし、従来のモンテカルロ法に比べてスケーラビリティと効率性において顕著に優れている。

ABSTRACT

The methods of statistical physics are widely used for modelling complex networks. Building on the recently proposed Equilibrium Expectation approach, we derive a simple and efficient algorithm for maximum likelihood estimation (MLE) of parameters of exponential family distributions - a family of statistical models, that includes Ising model, Markov Random Field and Exponential Random Graph models. Computational experiments and analysis of empirical data demonstrate that the algorithm increases by orders of magnitude the size of network data amenable to Monte Carlo based inference. We report results suggesting that the applicability of the algorithm may readily be extended to the analysis of large samples of dependent observations commonly found in biology, sociology, astrophysics, and ecology.

研究の動機と目的

• 分割関数が計算不能な指数型分布族モデルにおける最尤推定（MLE）のためのスケーラブルで効率的なアルゴリズムの開発。
• ネットワークサイズの増大に伴い性能が著しく低下する従来のモンテカルロ法の計算上のボトルネックを克服すること。
• 従来の計算限界により実行不可能であった、複雑な社会的・生物学的ネットワークにおけるERGMなどの大規模ネットワークデータに対するMLEを可能にすること。
• 学習率やバーンイン期間のチューニングが不要なシンプルで適応しない手法を提供し、利用のしやすさを向上させること。
• モンテカルロ推論の適用範囲を、さまざまな科学分野における従属観測の大きな標本にまで拡張すること。

提案手法

• アルゴリズムは、均衡状態でのサンプリングを必要とせず、適合分布下での十分統計量の推定に「均衡期待値（EE）」手法を用いる。
• 1反復あたり1回のメトロポリス・ハスティングス手順を実行し、長時間のバーンイン期間を回避する。
• スコア方程式 $ \bm{g}(x_{\text{obs}}) = \mathbb{E}_{\bm{\theta}}[\bm{g}(x)] $ から導かれるパラメータ更新ルールを用い、実測値とシミュレートされた十分統計量を組み合わせる。
• 収束の安定化のため、固定ステップサイズ $ a $ と $ m $ ステップ間の十分統計量の移動平均を用いる。
• 高次元状態空間における混合性能の向上を図るため、効率的なIFD（固定分布を用いた重要度サンプリング）サンプラーを活用する。
• 実装は、有向ネットワーク解析を目的としたオープンソースソフトウェアとして提供され、既存のワークフローへの統合を容易にする。

実験結果

リサーチクエスチョン

• RQ1 計算不能な分割関数を伴う指数型分布族モデルにおけるスケーラブルなMLEを実現する、単純で適応しないアルゴリズムは可能か？
• RQ2 均衡期待値と1回のメトロポリス・ハスティングス手順の組み合わせにより、従来のMCMCが失敗する大規模ネットワークに対しても収束が可能になるか？
• RQ3 ステochastic approximation法と比較して、EEアルゴリズムは計算効率性とスケーラビリティの面でどの程度優れているか？
• RQ4 本手法は、数10万ノードの実世界の大規模ネットワーク（例えば、ソーシャルネットワーク）に成功裏に適用可能か？
• RQ5 本アルゴリズムは、ERGMやイジングモデルを含むさまざまな指数型分布族モデルに一般化可能で、頑健であるか？

主な発見

• EEアルゴリズムは、75,879ノードと500万件以上のリンクを持つEpinionsソーシャルネットワークのERGMパラメータを、ラップトップ上で7.4時間で正しく推定した。
• 本手法は、数10万ノードおよび数十億のリンク変数を持つネットワークに対しても収束を達成でき、従来の計算限界を著しく超えた。
• 従来のMCMCベースのMLE手法が数千ノード程度で機能を失う中、本手法はスケーラビリティにおいて数個のオーダーの向上を示した。
• EEアルゴリズムは、学習率の適応やバーンイン時間のチューニングが一切不要であり、実用性と使いやすさが向上した。
• 本手法は、有向ネットワークにおけるアーク、人気、活動、閉じる傾向といった統計量のパラメータ推定に成功した。
• 予備的な結果から、本アルゴリズムは制限付きボルツマンマシンの学習にも応用可能である可能性があり、ネットワークモデルを超えた幅広い応用性を示唆している。