[論文レビュー] A Tensor Approach to Learning Mixed Membership Community Models

Anima Anandkumar, Rong Ge+2 more|arXiv (Cornell University)|Feb 12, 2013

Tensor decomposition and applications参考文献 45被引用数 63

ひとこと要約

本稿では、3つ星カウントテンソルを用いて、低順序モーメント分解によりコミュニティ構成とパラメータを回復することで、保証付きの学習が可能なテンソルスペクトル法を混合メンバーシップコミュニティモデルに提案する。この手法は、タイトなサンプル複雑性とエッジ接続性の境界を達成し、stochastic block model における最高の保証と対数要因を除いて一致する。

ABSTRACT

Community detection is the task of detecting hidden communities from observed interactions. Guaranteed community detection has so far been mostly limited to models with non-overlapping communities such as the stochastic block model. In this paper, we remove this restriction, and provide guaranteed community detection for a family of probabilistic network models with overlapping communities, termed as the mixed membership Dirichlet model, first introduced by Airoldi et al. This model allows for nodes to have fractional memberships in multiple communities and assumes that the community memberships are drawn from a Dirichlet distribution. Moreover, it contains the stochastic block model as a special case. We propose a unified approach to learning these models via a tensor spectral decomposition method. Our estimator is based on low-order moment tensor of the observed network, consisting of 3-star counts. Our learning method is fast and is based on simple linear algebraic operations, e.g. singular value decomposition and tensor power iterations. We provide guaranteed recovery of community memberships and model parameters and present a careful finite sample analysis of our learning method. As an important special case, our results match the best known scaling requirements for the (homogeneous) stochastic block model.

研究の動機と目的

• ネットワークにおける重複コミュニティモデルのための、保証付きの学習手法の不足に対処すること。
• 非重複のstochastic block model における理論的保証を、分数ノードメンバーシップを有する混合メンバーシップモデルへ拡張すること。
• コミュニティ検出のための、テンソル分解を用いた計算効率が良く、モーメントに基づく手法を開発すること。
• コミュニティの重複と不均一な接続性を含む現実的なネットワーク条件下で、有限標本の回復保証を確立すること。

提案手法

• 本手法は、ネットワークの高階構造の低順序モーメント推定器として3つ星カウントテンソルを用いる。
• テンソルパワー反復と特異値分解を適用し、テンソルからコミュニティメンバーシップの信号を抽出する。
• 近隣に基づく初期化を組み込んだ修正されたテンソルパワー法を用い、ロバスト性を向上させ、サンプル複雑性を低減する。
• コミュニティメンバーシップにディリクレ事前分布を活用し、濃度パラメータ α₀ を用いて重複を制御する。
• ホワイトニングとスペクトル分解を実行し、コミュニティ信号を分離して推定精度を向上させる。
• ノイズと標本変動性下でのテンソル推定器のロバスト性を分析するため、有限標本の濃度バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 重複コミュニティを有する混合メンバーシップコミュニティモデルのための、保証付きで効率的な学習手法を開発できるか？
• RQ2 コミュニティの重複度（α₀ で制御）は、サンプル複雑性と回復性能にどのように影響するか？
• RQ3 テンソルベースのモーメント手法は、非重複stochastic block model における保証と同等の回復保証を達成できるか？
• RQ4 ノイズの存在下で、より良い初期化によりテンソルパワー法にどのような改善が可能か？

主な発見

• 提案されたテンソル法は、ネットワークサイズ、コミュニティ数、エッジ接続性に関する十分条件を満たす限り、コミュニティメンバーシップとモデルパラメータの保証付き回復を達成する。
• 同型stochastic block model（特殊ケース）では、最高の既知のサンプル複雑性とエッジ分離要件を、多項式対数要因を除いて一致する。
• 修正されたテンソルパワー法により、必要なサンプル複雑性が Õ(k⁴(α₀ + 1)²) に低減され、標準的なテンソル手法を改善する。
• 近隣ベクトルを用いた改善された初期化により、ノイズに対してロバストであるため、濃度バインディングが向上し、標本誤差への感受性が低下する。
• 同サイズのコミュニティに対して理論的保証はタイトであるが、極めて不均衡なコミュニティサイズでは性能が低下するため、アルゴリズムの洗練が求められる。
• 実験結果から、本手法は大規模ネットワーク（数百万ノード）にもスケーリング可能であり、実行時間において変分推論を上回るが、確率的更新の理論的保証は未解決のままである。