[论文解读] Bayesian estimation from few samples: community detection and related problems

Samuel B. Hopkins, David Steurer|arXiv (Cornell University)|Sep 30, 2017

Statistical Methods and Bayesian Inference参考文献 2被引用 15

一句话总结

本文提出了一种新颖的元算法，用于从少量样本中进行贝叶斯估计，利用低阶多项式、半定规划和张量分解，实现了紧致的样本复杂度界。该工作首次为常平均度图中的混合成员随机块模型提供了恢复保证，并识别出超越Kesten–Stigum界的一个尖锐计算阈值，为需要指数时间的必要性提供了证据。

ABSTRACT

We propose an efficient meta-algorithm for Bayesian estimation problems that is based on low-degree polynomials, semidefinite programming, and tensor decomposition. The algorithm is inspired by recent lower bound constructions for sum-of-squares and related to the method of moments. Our focus is on sample complexity bounds that are as tight as possible (up to additive lower-order terms) and often achieve statistical thresholds or conjectured computational thresholds. Our algorithm recovers the best known bounds for community detection in the sparse stochastic block model, a widely-studied class of estimation problems for community detection in graphs. We obtain the first recovery guarantees for the mixed-membership stochastic block model (Airoldi et el.) in constant average degree graphs---up to what we conjecture to be the computational threshold for this model. We show that our algorithm exhibits a sharp computational threshold for the stochastic block model with multiple communities beyond the Kesten--Stigum bound---giving evidence that this task may require exponential time. The basic strategy of our algorithm is strikingly simple: we compute the best-possible low-degree approximation for the moments of the posterior distribution of the parameters and use a robust tensor decomposition algorithm to recover the parameters from these approximate posterior moments.

研究动机与目标

• 开发一种概念上简单但强大的元算法，用于在样本稀缺条件下的贝叶斯估计。
• 实现紧致的样本复杂度界，其低阶项与已知的统计与计算阈值相匹配或接近。
• 首次为常平均度图中的混合成员随机块模型提供可证明的恢复保证。
• 在多社区随机块模型中识别出尖锐的计算阈值，特别是超越Kesten–Stigum界的情况。
• 证明该算法能够恢复对称模型中的个体社区成员向量，而以往方法仅能恢复线性组合。

提出的方法

• 该算法使用伪期望计算参数后验矩的最佳低阶多项式逼近。
• 采用一种鲁棒的张量分解过程，从未精确的后验矩中恢复参数。
• 通过保持相关性的投影方法，维持高阶矩中的信号强度。
• 应用低阶估计器以逼近高阶后验矩，确保计算效率。
• 基于和-平方方法的凸规划用于求解具有恒定相关性的张量分解问题。
• 开发了一种3到4阶张量提升技术，将第三阶中的低相关性信号扩展至第四阶，从而实现恢复。

实验结果

研究问题

• RQ1 是否存在一种统一的元算法，可在样本极少的情况下实现最优样本复杂度？
• RQ2 在常平均度下，混合成员随机块模型的社区检测是否存在计算阈值？
• RQ3 在多社区模型中，该算法是否在Kesten–Stigum界之外表现出恢复性能的尖锐相变？
• RQ4 在对称混合成员模型中，是否能够恢复个体社区成员向量，而非仅线性组合？
• RQ5 低阶多项式方法在多大程度上捕捉了随机块模型中估计的统计与计算极限？

主要发现

• 该算法在两社区随机块模型中实现了最优的样本复杂度界，与先前结果一致。
• 首次为常平均度图中的混合成员随机块模型提供了可证明的恢复保证，达到猜想的计算阈值。
• 在多社区随机块模型中，该算法揭示了超越Kesten–Stigum界的尖锐计算阈值，提示可能需要指数时间。
• 该方法成功恢复了对称模型中的个体社区成员向量，克服了以往算法仅能恢复线性组合的局限。
• 3到4阶张量提升过程使常相关性下的恢复成为可能，算法在目标张量中实现了至少δ^O(1)的相关性水平。
• 理论分析证实，该算法的性能被低阶多项式方法紧密限制，为估计中的计算极限提供了证据。