[论文解读] Do Semidefinite Relaxations Really Solve Sparse PCA

Robert Krauthgamer, Boaz Nadler+1 more|arXiv (Cornell University)|Jun 16, 2013

Sparse and Compressive Sensing Techniques被引用 14

一句话总结

本文研究在单脉冲模型下，半定规划（SDP）松弛方法是否能从高维数据中恢复稀疏主成分。研究发现，当稀疏度超过 $ k = \Omega(\sqrt{n}) $ 时，标准SDP方法会失效，表明在此阈值处存在计算障碍，并支持如下猜想：在该极限之外，不存在有效的算法可恢复此类稀疏成分。

ABSTRACT

Estimating the leading principal components of data, assuming they are sparse, is a central task in modern high-dimensional statistics. Many algorithms were developed for this sparse PCA problem, from simple diagonal thresholding to sophisticated semidefinite programming (SDP) methods. A key theoretical question is under what conditions can such algorithms recover the sparse principal components? We study this question for a single-spike model with an $\ell_0$-sparse eigenvector, in the asymptotic regime as dimension $p$ and sample size $n$ both tend to infinity. Amini and Wainwright [Ann. Statist. 37 (2009) 2877-2921] proved that for sparsity levels $k\geq\Omega(n/\log p)$, no algorithm, efficient or not, can reliably recover the sparse eigenvector. In contrast, for $k\leq O(\sqrt{n/\log p})$, diagonal thresholding is consistent. It was further conjectured that an SDP approach may close this gap between computational and information limits. We prove that when $k\geq\Omega(\sqrt{n})$, the proposed SDP approach, at least in its standard usage, cannot recover the sparse spike. In fact, we conjecture that in the single-spike model, no computationally-efficient algorithm can recover a spike of $\ell_0$-sparsity $k\geq\Omega(\sqrt{n})$. Finally, we present empirical results suggesting that up to sparsity levels $k=O(\sqrt{n})$, recovery is possible by a simple covariance thresholding algorithm.

研究动机与目标

• 确定半定规划（SDP）松弛在高维数据中成功恢复稀疏主成分的条件。
• 研究稀疏PCA估计中信息论极限与计算可行性之间的差距。
• 评估SDP方法是否能弥合已知的信息极限（$k = O(\sqrt{n/\log p})$）与计算极限（$k = \Omega(n/\log p)$）之间的差距。
• 评估对角阈值化与协方差阈值化作为SDP在稀疏PCA恢复中的替代方法的性能。
• 推测当 $k \geq \Omega(\sqrt{n})$ 时，不存在计算上高效的算法可恢复稀疏成分。

提出的方法

• 在维度 $p$ 和样本量 $n$ 趋于无穷的渐近情形下，分析具有 $\ell_0$-稀疏特征向量的单脉冲模型。
• 采用理论分析评估标准SDP松弛在不同稀疏度水平 $k$ 下恢复稀疏脉冲的性能。
• 将Amini和Wainwright（2009）建立的信息论极限与SDP及对角阈值化的计算极限进行比较。
• 利用渐近分析表明，尽管SDP是一种强大的松弛技术，但当 $k \geq \Omega(\sqrt{n})$ 时仍会失效。
• 通过实验验证评估协方差阈值化在 $k = O(\sqrt{n})$ 以内的有效性。
• 依赖测度集中与随机矩阵理论技术，推导恢复性能的边界。

实验结果

研究问题

• RQ1 当稀疏度水平 $k$ 超过 $\Omega(\sqrt{n})$ 时，标准半定规划松弛能否恢复稀疏主成分？
• RQ2 在单脉冲模型中，高效算法恢复 $\ell_0$-稀疏主成分的计算极限是什么？
• RQ3 SDP方法是否能弥合信息论极限（$k = O(\sqrt{n/\log p})$）与计算障碍（$k = \Omega(n/\log p)$）之间的差距？
• RQ4 在中等稀疏度水平下，对角阈值化或协方差阈值化等更简单算法是否能优于SDP在稀疏PCA恢复中的表现？
• RQ5 是否存在一种可能：当 $k \geq \Omega(\sqrt{n})$ 时，不存在高效算法可恢复稀疏成分？

主要发现

• 当 $k \geq \Omega(\sqrt{n})$ 时，标准半定规划松弛即使作为强大松弛方法，也无法恢复稀疏脉冲。
• 该失效现象表明，SDP无法弥合稀疏PCA中信息论极限与计算极限之间的差距。
• 本文推测，当 $k \geq \Omega(\sqrt{n})$ 时，不存在计算上高效的算法可恢复稀疏成分，暗示存在根本性的计算障碍。
• 实验结果表明，协方差阈值化可在 $k = O(\sqrt{n})$ 范围内成功恢复稀疏成分，表明其具有实际可行性。
• 当 $k \leq O(\sqrt{n/\log p})$ 时，对角阈值化具有一致性，证实其在低稀疏度情形下的有效性。
• 结果表明，$\sqrt{n}$ 阈值标志着一个关键边界，超过此边界后，在单脉冲模型下高效恢复将变得计算不可行。