[论文解读] Computational Lower Bounds for Sparse PCA

Quentin Berthet, Philippe Rigollet|arXiv (Cornell University)|Apr 3, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用 64

一句话总结

本文在平均情形下植入团问题困难的假设下，建立了稀疏主成分分析（PCA）的计算下界。结果表明，任何计算上高效的检测方法都无法超越基于半定规划的检测方法所能检测到的更弱信号，这意味着在稀疏PCA检测中，计算效率的提升需付出根本性的统计代价。

ABSTRACT

In the context of sparse principal component detection, we bring evidence towards the existence of a statistical price to pay for computational efficiency. We measure the performance of a test by the smallest signal strength that it can detect and we propose a computationally efficient method based on semidefinite programming. We also prove that the statistical performance of this test cannot be strictly improved by any computationally efficient method. Our results can be viewed as complexity theoretic lower bounds conditionally on the assumptions that some instances of the planted clique problem cannot be solved in randomized polynomial time.

研究动机与目标

• 探究稀疏PCA检测的计算高效方法是否相较于最优但不可行的方法存在统计性能损失。
• 在高维稀疏检测问题中，形式化一种考虑计算约束的最优性概念。
• 在合理的复杂性理论假设下，证明任何多项式时间方法都无法改进半定规划松弛所达到的检测阈值。
• 通过将稀疏PCA检测与平均情形下植入学 clique 问题的困难性联系起来，拓展高维统计中计算极限的现有结果。
• 通过从一个在平均情形复杂性中著名的难题出发的归约，提供在多项式时间内可检测到的最小信号强度的条件性下界。

提出的方法

• 提出一种基于 d'Aspremont 等人（2007）方法的稀疏PCA检测半定规划松弛，并分析其检测阈值。
• 提出一种从植入学 clique 问题到稀疏PCA检测问题的新归约，表明若检测性能可改进，则意味着存在一种随机多项式时间算法来解决植入学 clique 问题。
• 使用一种随机多项式时间变换（膨胀映射）将一个植入学 clique 实例嵌入到一个稀疏PCA检验问题中。
• 应用浓度不等式和总变差界，控制在零假设与备则假设下变换后问题的统计行为。
• 采用耦合论证表明，在备则假设下，变换后数据的分布在统计上接近于乘积测度，从而可应用假设检验的下界结果。
• 通过假设植入学 clique 问题的平均情形困难性，利用复杂性理论和密码学中广泛接受的一个猜想，推导出检测阈值的条件性下界。

实验结果

研究问题

• RQ1 任何计算上高效的稀疏PCA检测方法的检测性能是否能超越半定规划松弛的性能？
• RQ2 稀疏PCA检测中，最优检测阈值与多项式时间内可实现的阈值之间是否存在根本性差距？
• RQ3 植入学 clique 问题的平均情形困难性在多大程度上决定了高维统计推断中的计算限制？
• RQ4 从植入学 clique 问题到稀疏PCA检测的归约是否能建立在多项式时间约束下最小可检测信号强度的紧下界？
• RQ5 在标准复杂性理论假设下，稀疏PCA检测中计算效率的统计代价是否依然存在？

主要发现

• 在植入学 clique 问题平均情形困难性的假设下，稀疏PCA的半定规划松弛所达到的检测阈值无法被任何计算上高效的检测方法改进。
• 在条件 $ k \leq n^{1/(4-\alpha)} $ 下，多项式时间检验的最优检测率下界为 $ \sqrt{k^\alpha / n} $，上界为 $ \sqrt{k^2 \log d / n} $，其中 $ \alpha \in [1,2) $。
• 最优检测阈值 $ \theta^* $ 与多项式时间内可实现的阈值 $ \theta^\circ $ 之间的差距为 $ \sqrt{k} $ 阶，表明计算效率的提升需付出显著的统计代价。
• 从植入学 clique 问题到稀疏PCA检测的归约表明，若检测性能可超越SDP阈值，则可构造出一种随机多项式时间算法来解决植入学 clique 问题，而这一结果被广泛认为不可能。
• 结果依赖于平均情形复杂性中的一个标准猜想：在某些参数范围内，植入学 clique 问题无法在随机多项式时间内求解。
• 该框架适用于一般分布，扩展了矩阵和稀疏信号检测的先前结果，为高维统计中的计算极限提供了更广泛的理论基础。