[論文レビュー] Subsampled Power Iteration: a Unified Algorithm for Block Models and Planted CSP's

Vitaly Feldman, Will Perkins+1 more|arXiv (Cornell University)|Jul 10, 2014

Bayesian Modeling and Causal Inference参考文献 34被引用数 11

ひとこと要約

本稿では、一般化された二部ブロックモデルを通じて、ストークスティック・ブロック・モデルとプラントドCSPにおける埋め込みパーティションの回復を統一する、高速で線形時間のアルゴリズム、サブサンプリング・パワー反復法を提案する。隣接行列の反復的サブサンプリングを用いたパワー反復を適用することで、高い確率で最適な回復閾値に到達し、スペクトル法やSDPに基づく手法を凌駕する。特に、標準的なスペクトル法がノルムの障壁により失敗する不均衡な二部グラフ設定において顕著な性能を発揮する。

ABSTRACT

We present an algorithm for recovering planted solutions in two well-known models, the stochastic block model and planted constraint satisfaction problems, via a common generalization in terms of random bipartite graphs. Our algorithm matches up to a constant factor the best-known bounds for the number of edges (or constraints) needed for perfect recovery and its running time is linear in the number of edges used. The time complexity is significantly better than both spectral and SDP-based approaches. The main contribution of the algorithm is in the case of unequal sizes in the bipartition (corresponding to odd uniformity in the CSP). Here our algorithm succeeds at a significantly lower density than the spectral approaches, surpassing a barrier based on the spectral norm of a random matrix. Other significant features of the algorithm and analysis include (i) the critical use of power iteration with subsampling, which might be of independent interest; its analysis requires keeping track of multiple norms of an evolving solution (ii) it can be implemented statistically, i.e., with very limited access to the input distribution (iii) the algorithm is extremely simple to implement and runs in linear time, and thus is practical even for very large instances.

研究の動機と目的

• ストークスティック・ブロック・モデルとプラントドCSPにおける埋め込みパーティションのアルゴリズム的回復を、共通の枠組みで統一すること。
• 両モデルにおける最高の既知の回復閾値に一致またはそれを上回る、高速で線形時間のアルゴリズムを開発すること。
• 不均衡な二部グラフにおける従来のスペクトル法を制限するスペクトルノルムの障壁を克服すること。
• 入力データへのアクセスを最小限に抑えることで、統計的クエリモデルでの実装を可能にすること。
• 理論的にも妥当で、大規模なインスタンスにスケーラブルな、シンプルで実用的なアルゴリズムを提供すること。

提案手法

• 本アルゴリズムは、二部ブロックモデルの全隣接行列から得られる一連のランダムにサブサンプリングされた行列に対してパワー反復を適用する。
• 反復ステップを通じて正規化されたベクトルを維持・更新し、複数のノルムを追跡することで、反復全体における誤差増大を制御する。
• ベクトルのノルムと相関の進化を分析するために、集中不等式（例えば、ホーフディングおよびベリー＝アッセーヌ）に依存する。
• 各反復でサブサンプリングを適用することで、計算コストを低減しつつ、埋め込みパーティション方向の信号強度を維持する。
• ベクトルの最終反復の多数決を用いて、真の埋め込み割り当てまたはパーティションを回復する。
• 解析では、相関の指数的増加段階と安定化段階の二段階に分けられ、収束に関する厳密な高確率境界が得られる。

実験結果

リサーチクエスチョン

• RQ1 単一のアルゴリズムが、ストークスティック・ブロック・モデルとプラントドCSPの両方で最適な回復を達成できるか？
• RQ2 サブサンプリングを施したパワー反復は、低密度かつ不均衡な二部グラフにおいて、完全なスペクトル法を上回れるか？
• RQ3 完全な回復に必要な最小の辺数または制約数は何か？ そして、その閾値にアルゴリズムが一致できるか？
• RQ4 統計的クエリモデルのような、入力分布へのアクセスが制限された環境でも、アルゴリズムを実装できるか？
• RQ5 反復的サブサンプリングは、不均衡な設定における従来のスペクトルクラスタリングを制限するスペクトルノルム障壁を克服するのに役立つのか？

主な発見

• プラントドr-CSPでは、O(n^{r/2} log n)個の節約で、高い確率で完全な回復が達成され、既知の計算下限と一致する。
• 辺数または制約数に比例して線形時間で実行され、スペクトル法やSDPに基づく手法を著しく上回る。
• 不均衡な二部グラフ（|V₂| ≫ |V₁|）では、標準的なスペクトル法よりも低い辺密度で成功し、スペクトルノルム障壁を克服する。
• ランダム行列のスペクトルノルムが信号を上回る状況でも、本手法は埋め込み割り当てを回復でき、従来のスペクトルクラスタリングが失敗する領域で有効である。
• 解析により、初期の反復段階でベクトルノルムが指数的に増大し、高確率でO(log n)ステップで√n₁/2に達することが示された。
• 最終反復の多数決により、真の埋め込みベクトル±uが高確率で回復され、高確率で正確な回復が達成される。