[論文レビュー] Bayesian estimation from few samples: community detection and related problems

Samuel B. Hopkins, David Steurer|arXiv (Cornell University)|Sep 30, 2017

Statistical Methods and Bayesian Inference参考文献 2被引用数 15

ひとこと要約

この論文は、少数のサンプルからのベイジアン推定のための新しいメタアルゴリズムを導入する。低次の多項式、半正定値計画法、テンソル分解を活用することで、タイトなサンプル複雑度の上限を達成する。定常平均次数グラフにおける混合所属スチュアーディックブロックモデルの回復保証を初めて提供し、ケステン＝スティグムの境界を超えた鋭い計算の閾値を特定し、指数時間の要請を示唆する。

ABSTRACT

We propose an efficient meta-algorithm for Bayesian estimation problems that is based on low-degree polynomials, semidefinite programming, and tensor decomposition. The algorithm is inspired by recent lower bound constructions for sum-of-squares and related to the method of moments. Our focus is on sample complexity bounds that are as tight as possible (up to additive lower-order terms) and often achieve statistical thresholds or conjectured computational thresholds. Our algorithm recovers the best known bounds for community detection in the sparse stochastic block model, a widely-studied class of estimation problems for community detection in graphs. We obtain the first recovery guarantees for the mixed-membership stochastic block model (Airoldi et el.) in constant average degree graphs---up to what we conjecture to be the computational threshold for this model. We show that our algorithm exhibits a sharp computational threshold for the stochastic block model with multiple communities beyond the Kesten--Stigum bound---giving evidence that this task may require exponential time. The basic strategy of our algorithm is strikingly simple: we compute the best-possible low-degree approximation for the moments of the posterior distribution of the parameters and use a robust tensor decomposition algorithm to recover the parameters from these approximate posterior moments.

研究の動機と目的

• 少数のサンプル条件下でのベイジアン推定に適した、概念的に単純だが強力なメタアルゴリズムの開発。
• 下位の項を除いてタイトなサンプル複雑度の上限を達成し、既知の統計的および計算的閾値と一致または近接すること。
• 定常平均次数グラフにおける混合所属スチュアーディックブロックモデルの、初めての証明可能な回復保証の提供。
• 多コミュニティスチュアーディックブロックモデルにおける鋭い計算の閾値の特定、特にケステン＝スティグムの境界を超えた部分。
• 対称モデルにおいて、従来の手法が線形結合しか回復できなかったのに対し、個々のコミュニティ所属ベクトルを回復できることの確認。

提案手法

• アルゴリズムは、パラメータの事後モーメントの最良の低次の多項式近似を、擬似期待値を用いて計算する。
• これらの近似事後モーメントからパラメータを回復するために、頑健なテンソル分解手順を採用する。
• 信号強度を高次モーメントで維持するために、相関を保つ射影を用いる。
• 計算効率を確保するために、高次事後モーメントを近似する低次の推定器を適用する。
• 定数相関を持つテンソル分解問題を解くために、和の平方法に基づく凸計画法を用いる。
• 第3モーメントから第4モーメントへの低相関信号の拡張を可能にする、3次元から4次元へのテンソルリフト技術を開発する。

実験結果

リサーチクエスチョン

• RQ1 統一されたメタアルゴリズムは、少数のサンプルにおける最適なサンプル複雑度を達成できるか？
• RQ2 定常平均次数を持つ混合所属スチュアーディックブロックモデルにおけるコミュニティ検出の計算の閾値は何か？
• RQ3 多コミュニティモデルにおいて、ケステン＝スティグムの境界を超えた回復性能の鋭い段階的転移を示すか？
• RQ4 対称的な混合所属モデルでは、線形結合ではなく個々のコミュニティ所属ベクトルを回復できるか？
• RQ5 低次の多項式手法は、確率的ブロックモデルにおける推定の統計的および計算的限界をどの程度捉えられるか？

主な発見

• 2コミュニティスチュアーディックブロックモデルにおいて、これまでで最も良いサンプル複雑度の上限を達成し、先行研究と一致する。
• 定常平均次数グラフにおける混合所属スチュアーディックブロックモデルに対して、初めての証明可能な回復保証を提供し、予想される計算の閾値まで到達する。
• 多コミュニティスチュアーディックブロックモデルにおいて、ケステン＝スティグムの境界を超えた鋭い計算の閾値を明らかにし、指数時間の要請がある可能性を示唆する。
• 対称モデルにおいて、従来の手法が線形結合しか回復できなかったのに対し、本手法は個々のコミュニティ所属ベクトルを成功裏に回復する。
• 3次元から4次元へのテンソルリフト手順により、定数相関からの回復が可能となり、アルゴリズムはターゲットテンソルにおいて少なくともδ^O(1)の相関レベルを達成する。
• 理論的解析により、アルゴリズムの性能が低次の多項式法によってタイトに束縛されていることが確認され、推定における計算の限界を裏付ける証拠が得られる。