[论文解读] Optimal Covariance Estimation for Condition Number Loss in the Spiked Model

David L. Donoho, Behrooz Ghorbani|arXiv (Cornell University)|Oct 17, 2018

Random Matrices and Applications参考文献 45被引用 6

一句话总结

该论文在谱型协方差模型中，针对相对条件数损失，推导出在 $p$ 和 $n$ 比例增长时协方差矩阵估计的渐近最优非线性收缩器。最优收缩器依赖于纵横比 $\gamma = p/n$ 和最大特征值，表现出显著行为：当 $\gamma \gg 1$ 时，其将大特征值收缩为原值的 $1/(1+\gamma)$ 倍；当 $\gamma$ 适中时，显著的特征分量可能被完全抑制，导致在高维情形下纯对角估计器成为最优选择。

ABSTRACT

We study estimation of the covariance matrix under relative condition number loss $κ(Σ^{-1/2} \hatΣ Σ^{-1/2})$, where $κ(Δ)$ is the condition number of matrix $Δ$, and $\hatΣ$ and $Σ$ are the estimated and theoretical covariance matrices. Optimality in $κ$-loss provides optimal guarantees in two stylized applications: Multi-User Covariance Estimation and Multi-Task Linear Discriminant Analysis. We assume the so-called spiked covariance model for $Σ$, and exploit recent advances in understanding that model, to derive a nonlinear shrinker which is asymptotically optimal among orthogonally-equivariant procedures. In our asymptotic study, the number of variables $p$ is comparable to the number of observations $n$. The form of the optimal nonlinearity depends on the aspect ratio $γ=p/n$ of the data matrix and on the top eigenvalue of $Σ$. For $γ> 0.618...$, even dependence on the top eigenvalue can be avoided. The optimal shrinker has two notable properties. First, when $p/n ightarrow γ\gg 1$ is large, it shrinks even very large eigenvalues substantially, by a factor $1/(1+γ)$. Second, even for moderate $γ$, certain highly statistically significant eigencomponents will be completely suppressed. We show that when $γ\gg 1$ is large, purely diagonal covariance matrices can be optimal, despite the top eigenvalues being large and the empirical eigenvalues being highly statistically significant. This aligns with practitioner experience. We identify intuitively reasonable procedures with small worst-case relative regret - the simplest being generalized soft thresholding having threshold at the bulk edge and slope $(1+γ)^{-1}$ above the bulk. For $γ< 2$ it has at most a few percent relative regret.

研究动机与目标

• 推导在谱型协方差模型中，针对相对条件数损失的渐近最优收缩器。
• 刻画在正交协变程序中最小化条件数损失的最优非线性特征值收缩形式。
• 识别尽管存在大最大特征值，但纯对角协方差估计器仍为渐近最优的区域。
• 量化实际收缩程序的最坏情况相对遗憾，并识别遗憾最小的程序。
• 在比例增长渐近下（$p,n \to \infty$，$p/n \to \gamma$）为最优收缩器建立理论保证。

提出的方法

• 使用固定秩 $r$ 的非单位特征值和批量特征值均为 1 的谱型协方差模型。
• 应用比例增长渐近，其中 $p,n \to \infty$ 且 $p/n \to \gamma \in (0,\infty)$。
• 推导出最优非线性函数 $\eta^*(\cdot)$ 的闭式表达，该函数将样本特征值映射为收缩估计值，其依赖于 $\gamma$ 和极限最大特征值 $\ell_1$。
• 通过 $\Sigma^{-1/2}\hat{\Sigma}\Sigma^{-1/2}$ 的特征值收敛于块结构渐近枢轴矩阵 $\Delta^a$ 来建立渐近最优性。
• 利用无突出条件确保渐近枢轴矩阵的极端特征值与 2×2 块匹配，从而推导出最优收缩器。
• 通过用未知的 $\ell_1$ 替换为最大样本特征值 $\lambda_1$，提出一种数据驱动版本 $\eta^e$。

实验结果

研究问题

• RQ1 在谱型模型中，针对相对条件数损失，协方差估计的渐近最优非线性收缩器是什么？
• RQ2 最优收缩器如何依赖于纵横比 $\gamma = p/n$ 和最大特征值 $\ell_1$？
• RQ3 在何种条件下，尽管存在大最大特征值，纯对角协方差矩阵仍可为渐近最优？
• RQ4 实际收缩程序的最坏情况相对遗憾是多少，哪些程序的遗憾最小？
• RQ5 当 $\gamma \gg 1$ 时，最优收缩器的行为如何，这对高维估计有何影响？

主要发现

• 当 $\gamma \gg 1$ 时，最优收缩器将所有特征值——包括极大特征值——收缩为原值的 $1/(1+\gamma)$ 倍，显著降低条件数。
• 当 $\gamma > 0.618033\dots$ 时，最优收缩器不再依赖于最大特征值 $\ell_1$，形式得以简化。
• 即使在 $\gamma$ 适中时，高度显著的特征分量在最优收缩器中也可能被完全抑制。
• 当 $\gamma \gg 1$ 时，纯对角协方差矩阵可为渐近最优，与经验实践一致。
• 广义软阈值规则在批量边缘处设阈值、斜率为 $(1+\gamma)^{-1}$ 时，对于 $\gamma < 2$，最坏情况相对遗憾不超过百分之几。
• 最优渐近损失由 $L^*(\ell_1; \gamma) = \kappa_1^*(\ell_1; \gamma)$ 给出，其为仅依赖于 $\ell_1$ 和 $\gamma$ 的函数。