[论文解读] Linear regression through PAC-Bayesian truncation

Jean-Yves Audibert, Olivier Catoni|arXiv (Cornell University)|Oct 1, 2010

Statistical Methods and Inference参考文献 25被引用 10

一句话总结

本文提出了一种用于线性回归的PAC-Bayesian收缩方法，该方法在期望和偏差下均实现了$ d/n $阶的过剩风险界，且无需对输出分布施加指数矩假设。通过截断损失差并利用PAC-Bayesian分析，该方法在最小假设下实现了鲁棒的、高概率的风险控制，且可扩展至强凸损失函数。

ABSTRACT

We consider the problem of predicting as well as the best linear combination of d given functions in least squares regression under L^\infty constraints on the linear combination. When the input distribution is known, there already exists an algorithm having an expected excess risk of order d/n, where n is the size of the training data. Without this strong assumption, standard results often contain a multiplicative log(n) factor, complex constants involving the conditioning of the Gram matrix of the covariates, kurtosis coefficients or some geometric quantity characterizing the relation between L^2 and L^\infty-balls and require some additional assumptions like exponential moments of the output. This work provides a PAC-Bayesian shrinkage procedure with a simple excess risk bound of order d/n holding in expectation and in deviations, under various assumptions. The common surprising factor of these results is their simplicity and the absence of exponential moment condition on the output distribution while achieving exponential deviations. The risk bounds are obtained through a PAC-Bayesian analysis on truncated differences of losses. We also show that these results can be generalized to other strongly convex loss functions.

研究动机与目标

• 开发一种在最小分布假设下具有最优过剩风险界鲁棒线性回归估计器。
• 在期望和高概率偏差下均实现$d/n$阶的过剩风险，且无需对输出分布施加指数矩假设。
• 通过PAC-Bayesian分析在截断损失差上，提供一种简单统一的风险控制框架。
• 将该方法推广至最小二乘以外的强凸损失函数。
• 消除与Gram矩阵条件数或峰度相关的复杂常数，同时保持指数偏差界。

提出的方法

• 该方法对经验损失与真实损失之差进行截断，并利用PAC-Bayesian分析来控制泛化误差。
• 基于基函数线性组合上的Gibbs后验分布，设计了一种收缩过程。
• 损失差的截断可控制重尾或类似重尾行为，且无需矩条件。
• 通过将PAC-Bayesian定理新颖地应用于截断损失差，推导出风险界，避免依赖次高斯或次Weibull假设。
• 通过调整截断和散度控制机制，将该方法扩展至强凸损失函数。
• 最终估计器为随机化形式，其系数后验分布最小化一个PAC-Bayesian风险代理。

实验结果

研究问题

• RQ1 PAC-Bayesian方法是否能在不假设输出分布具有指数矩的条件下，实现偏差下的$d/n$阶过剩风险？
• RQ2 损失截断如何提升鲁棒性并简化线性回归中的风险界？
• RQ3 是否可能在常数简单且不依赖Gram矩阵条件数的情况下，实现指数偏差界？
• RQ4 该框架能否推广至最小二乘以外的其他强凸损失函数？
• RQ5 收缩与随机化估计器在实现最优、模型无关风险控制中起什么作用？

主要发现

• 所提出的估计器在期望下实现了$ d/n $阶的过剩风险界，与极小极大最优率一致。
• 以高概率$ 1 - \varepsilon $，过剩风险被界于$ \kappa(d + \log(\varepsilon^{-1}))/n $，且$ n $上无对数因子。
• 该方法无需输出的指数矩，但仍能实现指数偏差。
• 风险界与峰度、Gram矩阵的条件数或$ L^2 $-$ L^\infty $球的几何性质无关。
• 该方法可推广至其他强凸损失函数，且保持相似的风险界。
• 使用截断损失差可实现更紧密的控制，且相比标准PAC-Bayesian方法，分析更简化。