[论文解读] Sparse CCA: Adaptive Estimation and Computational Barriers

Chao Gao, Zongming Ma+1 more|arXiv (Cornell University)|Sep 30, 2014

Statistical Methods and Inference参考文献 48被引用 54

一句话总结

本文在一般协方差结构下建立了稀疏典型相关分析（SCCA）的独立极小极大估计速率，并提出了一种计算高效的自适应估计器——CoLaR，该估计器在样本量满足一定条件时可达到最优速率。此外，本文证明了在假设Planted Clique问题困难的前提下，该样本量条件对任何随机多项式时间估计器的一致性而言都是必要的，从而为SCCA和稀疏PCA建立了计算障碍。

ABSTRACT

Canonical correlation analysis is a classical technique for exploring the relationship between two sets of variables. It has important applications in analyzing high dimensional datasets originated from genomics, imaging and other fields. This paper considers adaptive minimax and computationally tractable estimation of leading sparse canonical coefficient vectors in high dimensions. First, we establish separate minimax estimation rates for canonical coefficient vectors of each set of random variables under no structural assumption on marginal covariance matrices. Second, we propose a computationally feasible estimator to attain the optimal rates adaptively under an additional sample size condition. Finally, we show that a sample size condition of this kind is needed for any randomized polynomial-time estimator to be consistent, assuming hardness of certain instances of the Planted Clique detection problem. The result is faithful to the Gaussian models used in the paper. As a byproduct, we obtain the first computational lower bounds for sparse PCA under the Gaussian single spiked covariance model.

研究动机与目标

• 在高维稀疏CCA中推导出典型系数向量$U$和$V$的独立极小极大估计速率，且不依赖于另一组的稀疏性。
• 开发一种计算上可行且自适应的估计器，可在未知稀疏性水平的情况下实现最优速率。
• 通过证明在Planted Clique假设下，某一特定样本量条件对随机多项式时间估计器的一致性是必要的，从而为稀疏CCA建立计算障碍。

提出的方法

• 使用预测误差损失函数推导出估计典型系数向量$U$和$V$的独立极小极大速率，表明$U$的速率仅依赖于$n, r, \lambda_r, p, s_u$，而不依赖于$m$或$s_v$。
• 提出CoLaR估计器，一种两阶段方法，结合初始谱估计器与类似组Lasso的精化步骤，以实现自适应且最优的估计。
• 利用凸优化与组Lasso正则化，在保持计算可行性的同时强制典型向量的稀疏性。
• 通过将问题约化为Planted Clique检测问题，证明了对一致估计而言，样本量条件$n \gtrsim \max(s_u, s_v)^2$是必要的。
• 应用计算困难性假设，首次在单尖峰高斯协方差模型下为稀疏PCA建立了计算下界。
• 采用一种新颖的损失函数，捕捉典型变量的预测误差，从而实现比联合损失函数更精细的分析。

实验结果

研究问题

• RQ1 在高维稀疏CCA中，典型系数向量$U$和$V$的独立极小极大估计速率是什么？该速率是否独立于另一组的稀疏性？
• RQ2 能否构造一种计算高效且自适应的估计器，使其在未知稀疏性水平的情况下仍能达到最优极小极大速率？
• RQ3 在稀疏CCA中实现最优估计速率的计算代价是什么？是否存在高效估计的根本性障碍？

主要发现

• 估计$U$的极小极大速率仅依赖于$n, r, \lambda_r, p, s_u$，而不依赖于$m$或$s_v$，表明稀疏性更高的集合可被更快估计。
• CoLaR估计器在条件$n \gtrsim \max(s_u, s_v)^2$下，能以多项式时间实现自适应且最优的极小极大速率。
• 本文证明，若Planted Clique问题困难，则任何随机多项式时间估计器在稀疏CCA中实现一致估计，都必须满足$n \gtrsim \max(s_u, s_v)^2$。
• 在模拟实验中，所提方法显著优于PMA和初始估计器，CoLaR在高维设置下将中位预测误差相比PMA降低了高达90%。
• 该估计器对模型误设（如错误的秩$r$）具有鲁棒性，在所有测试的协方差结构（单位阵、Toeplitz、SparseInv）中性能下降可忽略。
• 本工作首次在单尖峰高斯协方差模型下为稀疏PCA建立了计算下界，其推导基于Planted Clique问题的约化。