[论文解读] Kernel Partial Least Squares is Universally Consistent

Gilles Blanchard, Nicole Kraemer|arXiv (Cornell University)|Feb 25, 2009

Neural Networks and Applications参考文献 26被引用 7

一句话总结

本文通过为PLS成分数量建立数据相关的停止规则，证明了核偏最小二乘法（KPLS）回归的普遍一致性。利用PLS与带提前停止的共轭梯度算法之间的等价性，作者表明，当核函数为普遍核时，即使不事先知道目标函数，基于估计误差监测和条件数估计的两种经验停止规则均能产生普遍一致的估计器。

ABSTRACT

We prove the statistical consistency of kernel Partial Least Squares Regression applied to a bounded regression learning problem on a reproducing kernel Hilbert space. Partial Least Squares stands out of well-known classical approaches as e.g. Ridge Regression or Principal Components Regression, as it is not defined as the solution of a global cost minimization procedure over a fixed model nor is it a linear estimator. Instead, approximate solutions are constructed by projections onto a nested set of data-dependent subspaces. To prove consistency, we exploit the known fact that Partial Least Squares is equivalent to the conjugate gradient algorithm in combination with early stopping. The choice of the stopping rule (number of iterations) is a crucial point. We study two empirical stopping rules. The first one monitors the estimation error in each iteration step of Partial Least Squares, and the second one estimates the empirical complexity in terms of a condition number. Both stopping rules lead to universally consistent estimators provided the kernel is universal.

研究动机与目标

• 在无限维设定下建立核偏最小二乘法（KPLS）回归的普遍一致性。
• 解决PLS缺乏理论一致性结果的问题，因为PLS并非如岭回归或主成分回归那样的全局最小化器或线性估计器。
• 开发PLS成分数量的数据驱动停止规则，以确保在不事先知道真实回归函数的情况下实现一致性。
• 通过其与共轭梯度方法的联系，将KPLS与统计反问题联系起来。
• 证明KPLS不同于标准线性谱方法，其使用响应依赖的滤波函数，因此需要新的理论工具。

提出的方法

• 利用PLS与在正规方程上应用的共轭梯度算法（带提前停止）之间的等价性。
• 通过总体协方差算子 $\bar{S}$ 和交叉协方差 $\bar{T}^*\bar{f}$ 定义KPLS的总体版本。
• 采用两种数据驱动的停止规则：一种在每次迭代中监测估计误差，另一种通过伪条件数估计经验复杂度。
• 使用浓度不等式和矩阵范数界来控制经验与总体KPLS解之间的差异。
• 应用Borel-Cantelli引理，证明当样本量增加时，估计误差以几乎必然方式收敛到零。
• 通过结合总体估计器的收敛性与通过停止规则控制的估计误差，建立一致性。

实验结果

研究问题

• RQ1 在核函数和数据分布的温和假设下，核PLS是否具有普遍一致性？
• RQ2 针对PLS成分数量的数据依赖停止规则是否能在不事先知道真实回归函数的情况下确保一致性？
• RQ3 PLS与带提前停止的共轭梯度之间的等价性如何促进KPLS的理论分析？
• RQ4 能否使用可观测量（如条件数或误差监测）来有界地控制经验与总体KPLS之间的估计误差？
• RQ5 为何标准线性谱方法的结果不适用于KPLS，需要何种新的理论框架？

主要发现

• 在核函数为普遍核的假设下，KPLS的总体版本收敛到真实回归函数。
• 若停止规则选择得当，则经验与总体KPLS解之间的差异以高概率被有界于 $n^{-\gamma}$（其中 $\gamma > 0$）。
• 两种停止规则——一种基于迭代误差监测，另一种基于条件数估计——在核函数为普遍核时，均能产生普遍一致的估计器。
• 基于条件数估计的停止规则可确保迭代次数 $m^{\prime}_{(n)}$ 几乎必然地随 $n \to \infty$ 而发散，从而防止欠拟合。
• 由于将Borel-Cantelli引理应用于浓度不等式，估计误差界在 $n$ 足够大时以几乎必然方式成立。
• KPLS并非响应变量的线性估计器，这使得线性谱方法的现有结果无法直接应用，因此需要新颖的理论工具。