[論文レビュー] On Mixed Memberships and Symmetric Nonnegative Matrix Factorizations

Xueyu Mao, Purnamrita Sarkar+1 more|arXiv (Cornell University)|Jul 1, 2016

Complex Network Analysis Techniques参考文献 26被引用数 10

ひとこと要約

本稿では、モデルベースの混合所属スチュアティックブロックモデル（MMSB）と対称非負値行列分解（SNMF）を結びつけることで、ネットワークにおける混合所属コミュニティ検出のための証明可能に一貫性のあるアルゴリズムであるGeoNMFを提案する。MMSBにおける一意なSNMF解が得られる十分条件を確立し、GeoNMFが広範なパrameter領域において、高確率でノードの所属関係およびコミュニティ相互作用行列を最適かつ一貫して回復できることを示した。この有効性は、合成ネットワークおよび実世界のネットワークで検証された。

ABSTRACT

The problem of finding overlapping communities in networks has gained much attention recently. Optimization-based approaches use non-negative matrix factorization (NMF) or variants, but the global optimum cannot be provably attained in general. Model-based approaches, such as the popular mixed-membership stochastic blockmodel or MMSB (Airoldi et al., 2008), use parameters for each node to specify the overlapping communities, but standard inference techniques cannot guarantee consistency. We link the two approaches, by (a) establishing sufficient conditions for the symmetric NMF optimization to have a unique solution under MMSB, and (b) proposing a computationally efficient algorithm called GeoNMF that is provably optimal and hence consistent for a broad parameter regime. We demonstrate its accuracy on both simulated and real-world datasets.

研究の動機と目的

• モデルベースのMMSBと最適化ベースのSNMFを統合し、重なり型コミュニティ検出を実現すること。
• MMSBに対して対称NMFが一意な解をもたらす十分条件を確立すること。
• 計算的に効率が良く、ノードの所属関係およびコミュニティ相互作用行列を証明可能に回復できるアルゴリズムを開発すること。
• 未検証の仮定に依存せずに、広範なパrameter領域において推定の一貫性を保証すること。

提案手法

• スペクトラルクラスタリングと非負値行列分解を組み合わせた幾何的初期化を用いる2段階のアルゴリズムであるGeoNMFを提案する。
• 幾何的初期化を用いて、隣接行列の低ランク分解を通じて真のコミュニティ構造を近似する。
• 推定確率行列Pに対して対称非負値行列分解（SNMF）を適用し、非負性と対称性を保証する。
• 因子分解された行列を真のノード所属行列と、コミュニティの順列に依存しない形で一致させるための順列不変損失関数を採用する。
• ノード所属ベクトルおよびコミュニティ相互作用行列の回復誤差に高確率で成り立つ誤差バウンドを導出する。
• 集中不等式と確率的行列理論を用いて、非i.i.d.なノード所属や一般のコミュニティ相互作用行列を含む一般条件のもとで一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 対称NMFがMMSBモデルに対して一意な解をもたらす条件は何か？
• RQ2 計算的に効率の良いアルゴリズムが、MMSBにおいてノードの所属関係およびコミュニティ相互作用行列を証明可能に一貫して回復できるか？
• RQ3 ノード所属行列の推定誤差は、ネットワークサイズおよびコミュニティ構造にどのように依存するか？
• RQ4 一貫性に必要な仮定は何か？ これにより、既存の手法と比較してどのように異なるか？
• RQ5 高い重なり度とスパarsity状態下でも、アルゴリズムは精度を維持できるか？

主な発見

• ノード所属行列の回復誤差バウンドは $ O_P\left(\frac{K^{5/2}\sqrt{\log n}}{\beta_{\mathrm{min}}^{3}\rho}\right) $ であり、相対誤差は $ O_P\left(\frac{K^{3}\sqrt{\log n}}{\beta_{\mathrm{min}}^{3}\rho\sqrt{n}}\right) $ である。
• 非i.i.d.なノード所属や一般のコミュニティ相互作用行列を含む広範なパrameter領域において、アルゴリズムは証明可能に一貫性を示す。
• コミュニティ相互作用行列の推定誤差は高確率で有界であり、コミュニティレベルの相互作用の信頼性のある推論を可能にする。
• シミュレーションおよび実世界のネットワークにおいて、変分推論法やスペクトラル法よりも精度が優れている。
• 従来の証明可能手法とは異なり、アンカーノードやB行列の対角成分が等しいといった未検証の仮定に依存しない。
• 理論的解析により、ネットワークサイズが増加するにつれてアルゴリズムが真のパラメータに収束することが確認された。これは、高い重なり度とスパarsity状態下でも成立する。