[论文解读] Statistical and computational thresholds for the planted $k$-densest sub-hypergraph problem

Luca Corinzia, Paolo Penna+2 more|arXiv (Cornell University)|Nov 1, 2020

Sparse and Compressive Sensing Techniques参考文献 43被引用 4

一句话总结

本文通过最大似然估计和近似消息传递（AMP）算法，为在d-一致超图中恢复一个植根的k-最密子超图，建立了紧致的信息论阈值与算法阈值。研究识别出一个依赖于信号结构的统计-计算间隙，其尖锐边界揭示了组合先验约束的影响，而这些影响在标准张量PCA模型中未被捕捉。

ABSTRACT

In this work, we consider the problem of recovery a planted $k$-densest sub-hypergraph on $d$-uniform hypergraphs. This fundamental problem appears in different contexts, e.g., community detection, average-case complexity, and neuroscience applications as a structural variant of tensor-PCA problem. We provide tight \emph{information-theoretic} upper and lower bounds for the exact recovery threshold by the maximum-likelihood estimator, as well as \emph{algorithmic} bounds based on approximate message passing algorithms. The problem exhibits a typical statistical-to-computational gap observed in analogous sparse settings that widen with increasing sparsity of the problem. The bounds show that the signal structure impacts the location of the statistical and computational phase transition that the known existing bounds for the tensor-PCA model do not capture. This effect is due to the generic planted signal prior that this latter model addresses.

研究动机与目标

• 通过最大似然估计，建立植根k-最密子超图精确恢复的信息论上下界。
• 分析在k ∈ o(p)的稀疏区域中，统计-计算间隙的特性。
• 推导适用于非可分解先验的广义近似消息传递（AMP）算法，用于超图设置。
• 比较信息论界与算法阈值的性能，表明信号结构会影响相变位置。

提出的方法

• 通过最大似然估计器误差概率的联合界分析，推导出紧致上界。
• 利用广义Fano不等式及最近关于具有有界相关性的高斯随机变量的尾部界，建立下界。
• 在下界分析中，应用信息论中的经典覆盖论证，处理解权重之间的依赖关系。
• 提出一种用于超图问题的启发式AMP算法，将张量PCA的AMP推广至稀疏、不可分解信号先验。
• 通过状态演化分析，推导出AMP算法的算法恢复阈值。
• 将现有张量PCA的界转化为本文的归一化信噪比γ尺度，以实现直接比较。

实验结果

研究问题

• RQ1 在最大似然估计下，植根k-最密子超图精确恢复的紧致信息论界是什么？
• RQ2 信号结构——特别是恰好k个非零条目这一组合先验——如何影响统计-计算相变位置？
• RQ3 在具有不可分解先验的此超图设置中，近似消息传递（AMP）的算法恢复阈值是什么？
• RQ4 所推导的界与张量PCA中的现有界相比如何，特别是在稀疏区域？
• RQ5 对角线项的存在（即非互异的索引）在多大程度上影响恢复阈值？

主要发现

• 当d → ∞且d ∈ o(k)时，信息论下界与[10]中的MMSE阈值一致，确认了该区域的紧致性。
• 信息论上界比[1]中的先前界更紧，在稀疏区域中γub发散至无穷大，而γLB保持有限。
• AMP算法的恢复阈值γAMP ≈ √(p(1−αk)(d−1))在αk > 1/2 − 1/d时严格低于信息论上界，表明存在非平凡的计算间隙。
• 信号结构——特别是具有恰好k个1的0-1向量先验——导致相变位置与通用球面先验模型不同，凸显了先验约束的重要性。
• AMP算法将张量PCA的AMP推广至具有不可分解先验的稀疏超图，实现了恢复阈值的状态演化分析。
• 将[21]、[26]和[10]中的现有界转化为本文的γ尺度，表明只有在特定先验结构下才能实现γUB以上的恢复，而非依赖于一般信号特性。