[論文レビュー] Optimal Bipartite Network Clustering

Zhixin Zhou, Arash Amini|arXiv (Cornell University)|Mar 15, 2018

Complex Network Analysis Techniques参考文献 58被引用数 9

ひとこと要約

本稿では、一般化された二部ストークスティック・ブロック・モデル（SBM）下での最適な二部ネットワーククラスタリングを実現する2段階のスペクトルクラスタリング手法を提案する。スペクトル初期化と反復的伪尤度分類を組み合わせることで、スパースから中程度に密集したネットワークにわたり、広範なネットワークスパarsityレベルにおいて弱一貫性と最適収束レートを自適的に達成し、理論的下界を用いてミニマックス最適性を確立する。

ABSTRACT

We study bipartite community detection in networks, or more generally the network biclustering problem. We present a fast two-stage procedure based on spectral initialization followed by the application of a pseudo-likelihood classifier twice. Under mild regularity conditions, we establish the weak consistency of the procedure (i.e., the convergence of the misclassification rate to zero) under a general bipartite stochastic block model. We show that the procedure is optimal in the sense that it achieves the optimal convergence rate that is achievable by a biclustering oracle, adaptively over the whole class, up to constants. This is further formalized by deriving a minimax lower bound over a class of biclustering problems. The optimal rate we obtain sharpens some of the existing results and generalizes others to a wide regime of average degree growth, from sparse networks with average degrees growing arbitrarily slowly to fairly dense networks with average degrees of order $\sqrt{n}$. As a special case, we recover the known exact recovery threshold in the $\log n$ regime of sparsity. To obtain the consistency result, as part of the provable version of the algorithm, we introduce a sub-block partitioning scheme that is also computationally attractive, allowing for distributed implementation of the algorithm without sacrificing optimality. The provable algorithm is derived from a general class of pseudo-likelihood biclustering algorithms that employ simple EM type updates. We show the effectiveness of this general class by numerical simulations.

研究の動機と目的

• 二部ネットワーククラスタリングのための計算的に効率的かつ統計的に最適なアルゴリズムの開発。
• 一般化された二部SBM下でのバイクラスタリングにおける弱一貫性と最適収束レートの確立。
• バイクラスタリング問題の根本的統計的限界を特定するミニマックス下界の導出。
• 既存の正確回復閾値の結果を、平均次数の成長がゆっくりから√nまで広く一般化すること。
• 独創的な部分ブロック分割スキームを用いて、統計的最適性を損なわずに分散処理を可能にすること。

提案手法

• 2段階のアルゴリズム：スペクトルクラスタリングによる初期化、その後にEM型更新を用いた2ラウンドの偽尤度分類。
• 最適性を保持したまま分散計算を可能にする、証明可能な部分ブロック分割スキームの使用。
• SBMにおける計算不能な尤度計算を避けるために、補助尤度を用いた偽尤度最大化の適用。
• クラスタの識別可能性と一貫性を保証するためのチェルノフ発散に基づく理論的分析。
• 提案手法の統計的最適性を確立するためのミニマックス下界の導出。
• ポアソン近似と濃度不等式を用いて、尤度比検定における誤差確率の上限を評価。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的なアルゴリズムは、二部ネットワーククラスタリングにおいて最適な統計的性能を達成できるか？
• RQ2 一般化されたSBM仮定下での二部ネットワークバイクラスタリングにおける根本的統計的限界（ミニマックスレート）は何か？
• RQ3 提案手法は、広範なネットワークスパarsityレベルにわたり最適収束レートを達成するか？
• RQ4 アルゴリズムは最適性を損なわずに分散処理で実装可能か？
• RQ5 不均衡なクラスタサイズや非対称なネットワーク設定において、この手法はどのように性能を発揮するか？

主な発見

• 提案アルゴリズムは弱一貫性を達成し、ややいびつな正則性条件のもとで誤分類率がゼロに収束する。
• 定数倍の差異を除き、すべてのバイクラスタリング問題のクラスにおいてミニマックス下界と一致する最適収束レートを達成する。
• 最適レートは、平均次数が任意にゆっくり成長する（√nまで）範囲にまで一般化され、正確回復のためのlog nレジームもカバーする。
• 既知のlog nスパarsityレジームにおける正確回復閾値は、本手法の特殊ケースとして回復される。
• 部分ブロック分割スキームにより、統計的最適性を損なわず分散処理が可能になる。
• 数値シミュレーションにより、本フレームワークから導かれる一般化された偽尤度バイクラスタリングアルゴリズムの有効性が確認された。