[论文解读] Computational Hardness of Certifying Bounds on Constrained PCA Problems

Afonso S. Bandeira, Dmitriy Kunisky+1 more|arXiv (Cornell University)|Feb 19, 2019

Random Matrices and Applications参考文献 51被引用 23

一句话总结

本文建立了在受限PCA问题中认证上界计算困难性的结果，表明在复杂性理论假设下，任何多项式时间算法都无法认证出优于Gaussian Orthogonal Ensemble (GOE)矩阵最大特征值的更优上界。关键结果适用于Sherrington-Kirkpatrick自旋玻璃模型，尽管优化是高效的，但认证更优上界在计算上是不可行的。

ABSTRACT

A conjecture of Hopkins (2018) posits that for certain high-dimensional hypothesis testing problems, no polynomial-time algorithm can outperform so-called "simple statistics", which are low-degree polynomials in the data. This conjecture formalizes the beliefs surrounding a line of recent work that seeks to understand statistical-versus-computational tradeoffs via the low-degree likelihood ratio. In this work, we refute the conjecture of Hopkins. However, our counterexample crucially exploits the specifics of the noise operator used in the conjecture, and we point out a simple way to modify the conjecture to rule out our counterexample. We also give an example illustrating that (even after the above modification), the symmetry assumption in the conjecture is necessary. These results do not undermine the low-degree framework for computational lower bounds, but rather aim to better understand what class of problems it is applicable to.

研究动机与目标

• 研究随机矩阵问题中在约束集合上二次型上界认证的计算复杂性。
• 识别无信号随机优化问题中的统计-计算差距，特别是在受限PCA中。
• 证明在Sherrington-Kirkpatrick模型中，认证优于谱范数的更紧上界在计算上是困难的。
• 应用低阶似然比方法，确定负向突变Wishart模型中的计算阈值。

提出的方法

• 将受限PCA中的认证问题约化为负向突变Wishart模型中的检测问题。
• 使用低阶似然比方法，证明在谱阈值以下，任何低阶多项式都无法区分突变与未突变的Wishart模型。
• 采用广义Hermite多项式和正交多项式系，计算似然比低阶投影的范数。
• 推导出低阶似然比平方范数的表达式，其依赖于突变先验的内积分布。
• 应用局部Chernoff界，控制突变向量内积的尾部概率。
• 结合集中不等式与泰勒级数近似，分析当 n → ∞ 时似然比范数的渐近行为。

实验结果

研究问题

• RQ1 多项式时间算法能否在约束集合 S 上，对二次型 x⊤Wx 的最大值认证出优于 W 最大特征值的更优上界？
• RQ2 在Sherrington-Kirkpatrick自旋玻璃模型中，尽管优化是高效的，但认证上界的问题是否在计算上是困难的？
• RQ3 低阶似然比方法是否能正确识别负向突变Wishart模型中的计算阈值？
• RQ4 在经典谱阈值以下，区分突变与未突变Wishart模型的计算复杂性是什么？
• RQ5 是否存在一个对称矩阵的概率分布，其在计算上与GOE不可区分，但其在 S 上的最大二次型远大于典型GOE矩阵？

主要发现

• 在低阶似然比方法下，对于某些归一化约束集合 S，任何多项式时间算法都无法认证出优于 W 最大特征值的更优上界。
• 该困难性结果适用于 S = {±1/√n}^n 的Sherrington-Kirkpatrick模型，其中优化是高效的，但认证并非如此。
• 在负向突变Wishart模型中，似然比低阶投影的范数在 β² < γ 时保持有界，表明其与未突变模型在计算上不可区分。
• 当 D = o(n/log n) 时，突变向量内积的大偏差呈指数衰减，而低阶似然比呈多项式增长，保持有界性。
• 该证明构造了一个矩阵分布，其在计算上与GOE不可区分，但其在 S 上的最大二次型远大于典型GOE矩阵。
• 该结果意味着在受限PCA的认证任务中存在统计-计算差距，尽管优化任务中并不存在此类差距。