[论文解读] Low rank Multivariate regression

Christophe Giraud|arXiv (Cornell University)|Sep 27, 2010

Sparse and Compressive Sensing Techniques参考文献 19被引用 6

一句话总结

本文提出了一种在误差方差未知时选择低秩多变量回归秩的非渐近准则。该方法基于随机矩阵的期望Ky-Fan范数引入惩罚项，证明了非渐近Oracle不等式，确保在 $ m < p $ 的高维设置下仍能实现最优估计性能。

ABSTRACT

We consider in this paper the multivariate regression problem, when the target regression matrix $A$ is close to a low rank matrix. Our primary interest in on the practical case where the variance of the noise is unknown. Our main contribution is to propose in this setting a criterion to select among a family of low rank estimators and prove a non-asymptotic oracle inequality for the resulting estimator. We also investigate the easier case where the variance of the noise is known and outline that the penalties appearing in our criterions are minimal (in some sense). These penalties involve the expected value of the Ky-Fan quasi-norm of some random matrices. These quantities can be evaluated easily in practice and upper-bounds can be derived from recent results in random matrix theory.

研究动机与目标

• 解决在高维设置下误差方差未知时低秩多变量回归中秩选择的挑战，这是实际应用中的常见限制。
• 将低秩估计的非渐近理论从已知方差情形扩展至更现实的未知方差情形。
• 为回归系数矩阵 $ A $ 的秩选择提供一个理论基础坚实、数据驱动的准则，确保最优估计性能。
• 推导出已知方差与未知方差情形下的最小惩罚项，并明确关联到随机矩阵理论。
• 展示该方法在主成分分析及其他低秩估计问题中的适用性。

提出的方法

• 当 $ \sigma^2 $ 未知时，提出基于准则 ${\mathrm{Crit}}(r) = \log(\|Y - X\widehat{A}_r\|^2) + \mathrm{pen}(r)$ 的秩选择方法，其中 $ \widehat{A}_r $ 为秩约束最小二乘估计器。
• 推导出惩罚项 $ \mathrm{pen}(r) \geq -\log\left(1 - K \frac{\mathcal{S}_{q\times n}(r)^2}{nm - 1}\right) $，其中 $ K > 1 $，且 $ \mathcal{S}_{q\times n}(r) = \mathbb{E}[\|G_{q\times n}\|_{(2,r)}] $ 为标准高斯矩阵的期望Ky-Fan $ (2,r) $-范数。
• 利用高斯浓度不等式及对期望Ky-Fan范数的界，建立对估计误差的概率控制。
• 为所得估计器建立非渐近Oracle不等式，表明其风险接近于真实秩下的最优可能值。
• 在已知方差情形下，证明 $ \mathrm{pen}(r) = \mathcal{S}_{q\times n}(r)^2 $ 为最小惩罚项，并可导出紧致的风险界。
• 采用 $ X $ 的奇异值分解（SVD），通过 $ Z = U_q \Sigma_q $ 和 $ B = V_q^* A $ 将问题转化为低维回归框架。

实验结果

研究问题

• RQ1 当误差方差 $ \sigma^2 $ 未知时，如何可靠地选择低秩多变量回归中的秩 $ r $？
• RQ2 在多变量回归中，确保秩选择非渐近最优性的最小惩罚项是什么？
• RQ3 能否利用随机矩阵的Ky-Fan范数构造一个理论合理、数据驱动的秩选择惩罚项？
• RQ4 在 $ m < p $ 的高维设置下，尤其当设计矩阵 $ X $ 条件数较差时，所提准则表现如何？
• RQ5 所提方法在多大程度上可推广至主成分分析及其他低秩估计问题？

主要发现

• 所提准则 $ \mathrm{Crit}(r) = \log(\|Y - X\widehat{A}_r\|^2) + \mathrm{pen}(r) $，其中 $ \mathrm{pen}(r) \geq -\log\left(1 - K \frac{\mathcal{S}_{q\times n}(r)^2}{nm - 1}\right) $，$ K > 1 $，可导出所得估计器的非渐近Oracle不等式。
• 该惩罚项被证明是最小的，即任何更小的惩罚都无法在模型类上统一控制风险。
• 在已知方差情形下，惩罚项 $ \mathrm{pen}(r) = \mathcal{S}_{q\times n}(r)^2 $ 被证明为最小，并可导出紧致的风险界。
• 期望Ky-Fan范数 $ \mathcal{S}_{q\times n}(r) $ 可通过蒙特卡洛方法或在 $ n, m $ 较大时利用Marchenko-Pastur定律近似，从而实现实际应用。
• 该方法在对数因子范围内达到极小最大风险收敛速率，任何估计器的风险下界均为 $ c_\rho (q + n) r \sigma^2 $。
• 该理论框架即使在 $ m < p $ 时依然适用，使其适用于预测变量数量超过样本量的高维回归问题。