[论文解读] Machinery for Proving Sum-of-Squares Lower Bounds on Certification Problems

Aaron Potechin, Goutham Rajendran|arXiv (Cornell University)|Nov 9, 2020

Complexity and Algorithms in Graphs被引用 4

一句话总结

本文通过扩展 Barak 等人 [BHK+16] 的伪校准技术，提出了一种通用框架，用于证明认证问题的平方和（SoS）下界。该方法将 SoS 下界证明简化为验证三个条件——半正定质量、中间形状界和交集项界，从而实现了对张量 PCA、稀疏 PCA（Wishart 模型）以及一种变体的植 clique 问题（即植稍密子图）的高效证明，获得了与已知算法阈值匹配的 $n^\varepsilon$ 阶 SoS 下界。

ABSTRACT

In this paper, we construct general machinery for proving Sum-of-Squares lower bounds on certification problems by generalizing the techniques used by Barak et al. [FOCS 2016] to prove Sum-of-Squares lower bounds for planted clique. Using this machinery, we prove degree $n^{\\epsilon}$ Sum-of-Squares lower bounds for tensor PCA, the Wishart model of sparse PCA, and a variant of planted clique which we call planted slightly denser subgraph.

研究动机与目标

• 开发一种通用且可复用的框架，用于证明认证问题上的概率性平方和（SoS）下界。
• 将 [BHK+16] 中针对植 clique 问题的伪校准技术推广至更广泛的问题类别，如张量 PCA 和稀疏 PCA。
• 通过将技术分析隔离为可验证的系数矩阵条件，降低 SoS 下界证明的复杂度。
• 通过证明与已知算法保证相匹配的下界，为统计与机器学习中的关键问题建立紧致的计算阈值。
• 为具有顶点和边衰减特性的密集模型提供系统化的 SoS 下界证明方法，扩展至植 clique 之外的场景。

提出的方法

• 将 [BHK+16] 中的伪校准技术推广，用于为认证问题构造候选伪期望和矩矩阵。
• 定义系数矩阵上的三个核心条件——半正定质量、中间形状界和交集项界，以确保矩矩阵以高概率为半正定。
• 通过基于形状的图分解方法分析矩矩阵，利用对称性和自同构因子。
• 通过截断误差分析，利用衰减参数和归一化因子控制高阶图的贡献，从而实现有界性。
• 利用系数矩阵的结构，将问题特定的分析与通用证明框架解耦。
• 采用包含左形状、右形状和自同构校正的递归有界策略，控制矩矩阵中各项的增长。

实验结果

研究问题

• RQ1 用于植 clique 问题的伪校准技术能否推广至其他认证问题，如张量 PCA 和稀疏 PCA？
• RQ2 系数矩阵需满足何种最小结构条件，才能确保生成的矩矩阵以高概率为半正定？
• RQ3 通过抽象出问题特定分析，能否显著降低 SoS 下界证明的技术复杂度？
• RQ4 通过该方法证明的 SoS 下界是否与张量 PCA 和稀疏 PCA 等问题的最优已知算法保证相匹配？
• RQ5 该框架能否扩展至衰减性质更弱的问题，如最密 k-子图问题或稀疏模型？

主要发现

• 本文为张量 PCA 建立了 $n^\varepsilon$ 阶平方和下界，与该问题的最优已知算法保证完全匹配。
• 对于稀疏 PCA 的 Wishart 模型，该框架得出了 $n^\varepsilon$ 阶 SoS 下界，完整刻画了近似可实现性的阈值（仅相差多对数因子）。
• 本文提出了一种植 clique 的新变体——植稍密子图，并证明其具有 $n^\varepsilon$ 阶 SoS 下界，将该技术的适用范围扩展至标准植 clique 之外。
• 该框架将 SoS 下界证明简化为对系数矩阵上三个结构条件的验证，显著简化了分析过程。
• 该方法成功处理了同时具有顶点和边衰减的问题，其中系数随形状中顶点数和边数的增加而指数衰减。
• 作者证明了矩矩阵中的截断误差可通过衰减参数和归一化因子进行有界控制，从而确保最终矩阵保持半正定。