[论文解读] Risk bounds in linear regression through PAC-Bayesian truncation

Jean-Yves Audibert, Olivier Catoni|arXiv (Cornell University)|Feb 10, 2009

Control Systems and Identification参考文献 17被引用 7

一句话总结

本文通过截断损失差值，提出线性回归的PAC-贝叶斯风险界，无需对输出分布假设矩生成函数存在，即可实现最优的 $d/n$ 收敛速率。通过结合局部化PAC-贝叶斯不等式与截断方法，推导出岭回归与普通最小二乘估计量的精确过剩风险界，即使在重尾噪声下也具有指数偏差保证。

ABSTRACT

We consider the problem of predicting as well as the best linear combination of d given functions in least squares regression, and variants of this problem including constraints on the parameters of the linear combination. When the input distribution is known, there already exists an algorithm having an expected excess risk of order d/n, where n is the size of the training data. Without this strong assumption, standard results often contain a multiplicative log n factor, and require some additional assumptions like uniform boundedness of the d-dimensional input representation and exponential moments of the output. This work provides new risk bounds for the ridge estimator and the ordinary least squares estimator, and their variants. It also provides shrinkage procedures with convergence rate d/n (i.e., without the logarithmic factor) in expectation and in deviations, under various assumptions. The key common surprising factor of these results is the absence of exponential moment condition on the output distribution while achieving exponential deviations. All risk bounds are obtained through a PAC-Bayesian analysis on truncated differences of losses. Finally, we show that some of these results are not particular to the least squares loss, but can be generalized to similar strongly convex loss functions.

研究动机与目标

• 填补现有线性回归风险界研究中对输出分布矩生成函数或有界协变量等强假设的空白。
• 在期望与偏差下实现最优的 $d/n$ 收敛速率，即使在重尾噪声下亦成立。
• 基于PAC-贝叶斯分析，为岭回归与普通最小二乘估计量在最小矩条件下的理论保证提供支持。
• 将结果推广至强凸损失函数，增强在鲁棒回归中的适用性。
• 证明损失差值的截断可实现类似次高斯尾部行为，而无需假设输出分布为次高斯或有界。

提出的方法

• 将PAC-贝叶斯理论应用于损失差值的截断形式，以截断后的损失替代标准损失，从而控制尾部分布行为。
• 提出一种局部化PAC-贝叶斯不等式，消除风险界中的 $\log n$ 因子，从而实现 $d/n$ 速率。
• 采用最小-最大截断估计量，通过在截断集合上最小化最大损失，消除影响较大的异常值。
• 通过在估计量上定义Gibbs后验分布，确保集中性，且无需依赖矩生成函数假设。
• 通过一种新颖的截断机制建立风险界，即使输出分布缺乏矩生成函数，也能诱导出次指数尾部。
• 通过将截断与局部化框架适配至其他损失类型，将结果推广至强凸损失函数。

实验结果

研究问题

• RQ1 能否在不假设输出分布矩生成函数存在的前提下，实现线性回归的 $d/n$ 风险界？
• RQ2 PAC-贝叶斯分析如何适应处理回归中重尾或无界的输出分布？
• RQ3 在无矩假设下，截断在实现类似次高斯偏差界中起什么作用？
• RQ4 标准风险界中的 $\log n$ 因子能否在岭回归与OLS估计量的过剩风险中被消除？
• RQ5 所提出的截断与局部化框架在多大程度上可推广至非最小二乘、强凸损失函数？

主要发现

• 该论文在期望与偏差下均实现了 $d/n$ 量级的过剩风险界，且无需假设输出分布具有矩生成函数。
• 模拟结果表明，最小-最大截断估计量在重尾噪声下优于普通最小二乘估计量，某些情形下风险降低高达35%。
• 在高斯噪声下，最小-最大截断估计量在 $n=2000, d=2$ 时达到 $0.112 \pm 0.007$ 的期望过剩风险，与理论 $d/n$ 速率一致。
• 得益于截断诱导的次指数尾部，该方法在无矩生成函数条件下仍能实现指数偏差界。
• 理论分析表明，通过局部化PAC-贝叶斯不等式，可消除标准风险界中的 $\log n$ 因子。
• 该框架可推广至其他强凸损失函数，表明其在最小二乘回归之外具有广泛适用性。