[论文解读] Exponential weights in multivariate regression and a low-rankness favoring prior

Arnak S. Dalalyan|arXiv (Cornell University)|Jun 25, 2018

Statistical Methods and Inference参考文献 27被引用 12

一句话总结

本论文为固定设计下具有有界噪声的多元回归中的指数加权建立了精确的 PAC-Bayesian 悲观不等式，表明噪声分布的对称性足以在不假设独立性的情况下实现最优风险界。论文提出了一种带噪声的指数加权聚合方法，使在一般对称、有界支撑噪声下也能获得精确的界，并将该框架应用于低秩矩阵估计，采用谱缩放的学生t先验，实现了在弱假设下的最优极小极大速率。

ABSTRACT

We establish theoretical guarantees for the expected prediction error of the exponential weighting aggregate in the case of multivariate regression that is when the label vector is multidimensional. We consider the regression model with fixed design and bounded noise. The first new feature uncovered by our guarantees is that it is not necessary to require independence of the observations: a symmetry condition on the noise distribution alone suffices to get a sharp risk bound. This result needs the regression vectors to be bounded. A second curious finding concerns the case of unbounded regression vectors but independent noise. It turns out that applying exponential weights to the label vectors perturbed by a uniform noise leads to an estimator satisfying a sharp oracle inequality. The last contribution is the instantiation of the proposed oracle inequalities to problems in which the unknown parameter is a matrix. We propose a low-rankness favoring prior and show that it leads to an estimator that is optimal under weak assumptions.

研究动机与目标

• 将指数加权的理论保证扩展至具有多维标签的多元回归。
• 在噪声分布的假设最小化条件下建立精确的悲观不等式，特别是放宽对独立性的要求。
• 开发一种鲁棒的聚合程序，在对称、有界噪声分布下仍能保持精确的风险界。
• 将理论结果应用于低秩矩阵估计，通过一种新颖的先验偏好低秩解。
• 在弱正则性条件下证明所得估计器在极小极大意义下的最优性。

提出的方法

• 通过在应用指数加权前向数据向量添加均匀噪声，提出一种带噪声的指数加权聚合，从而在对称、有界噪声下提升鲁棒性。
• 在噪声分布的对称性条件下推导出精确的 PAC-Bayesian 悲观不等式，当样本独立时，余项按 $\|\boldsymbol{\Sigma}\|/n$ 的方式缩放。
• 为矩阵估计引入一种谱缩放的学生t先验，偏好低秩解，并实现最优极小极大速率。
• 利用 Stein 引理和一种改进的聚合程序，修复了先前关于有界支撑对称分布研究中的缺陷。
• 将该框架应用于迹回归和低秩矩阵恢复，表明所得估计器实现了极小极大最优速率。
• 采用 Langevin 蒙特卡洛算法进行实现，并在数字图像去噪任务中进行了验证。

实验结果

研究问题

• RQ1 在不假设噪声分量独立的情况下，多元回归中的指数加权能否实现精确的悲观不等式？
• RQ2 在一般对称、有界支撑噪声分布下，向数据向量添加均匀噪声是否能实现精确的风险界？
• RQ3 所提出的框架能否扩展至在最优极小极大速率下实现的低秩矩阵估计？
• RQ4 在弱假设下，何种矩阵上的先验分布能在迹回归中实现最优性能？
• RQ5 噪声协方差矩阵的谱范数如何影响悲观不等式中余项的大小？

主要发现

• 在噪声分布的对称性条件下，精确的悲观不等式成立，余项为 $K/n$ 阶，这在 i.i.d. 情况下是最优的。
• 当样本独立时，余项按 $\|\boldsymbol{\Sigma}\|/n$ 的方式缩放，其中 $\|\boldsymbol{\Sigma}\|$ 是噪声协方差矩阵的谱范数。
• 带噪声的指数加权聚合在任意对称、有界支撑噪声分布下均能实现精确风险界，纠正了先前研究中的缺陷。
• 谱缩放的学生t先验导致的估计器在弱假设下实现了低秩矩阵估计的极小极大最优速率。
• 所得估计器可通过 Langevin 蒙特卡洛算法实现，并在图像去噪实验中表现出良好的性能。
• 该理论框架统一并扩展了先前关于指数加权在多元和低秩设置下的结果，且仅需最弱的分布假设。