[论文解读] Convergence rates of Kernel Conjugate Gradient for random design regression

Gilles Blanchard, Nicole Krämer|arXiv (Cornell University)|Jul 8, 2016

Numerical methods in inverse problems参考文献 17被引用 32

一句话总结

该论文在随机设计设置下，为带有早停策略的核共轭梯度（CG）回归建立了最优收敛速率。通过分析函数光滑性（通过源条件衡量）与核空间中数据维度之间的相互作用，证明了当真实回归函数属于再生核希尔伯特空间（RKHS）时，CG结合早停在L²和希尔伯特范数下均能达到极小极大最优速率；当真实函数不在RKHS中时，通过引入额外的无标签数据，也能获得类似的收敛速率。

ABSTRACT

We prove statistical rates of convergence for kernel-based least squares regression from i.i.d. data using a conjugate gradient algorithm, where regularization against overfitting is obtained by early stopping. This method is related to Kernel Partial Least Squares, a regression method that combines supervised dimensionality reduction with least squares projection. Following the setting introduced in earlier related literature, we study so-called "fast convergence rates" depending on the regularity of the target regression function (measured by a source condition in terms of the kernel integral operator) and on the effective dimensionality of the data mapped into the kernel space. We obtain upper bounds, essentially matching known minimax lower bounds, for the $\\mathcal{L}^2$ (prediction) norm as well as for the stronger Hilbert norm, if the true regression function belongs to the reproducing kernel Hilbert space. If the latter assumption is not fulfilled, we obtain similar convergence rates for appropriate norms, provided additional unlabeled data are available.

研究动机与目标

• 建立基于共轭梯度与早停策略的核基最小二乘回归的统计收敛速率。
• 分析函数光滑性（通过源条件衡量）与有效维度对收敛速度的影响。
• 推导L²(ν)范数与希尔伯特范数下估计误差的上界，且该上界与已知的极小极大下界一致。
• 将结果扩展至真实回归函数不在RKHS的情形，通过引入额外的无标签数据。

提出的方法

• 使用共轭梯度（CG）迭代求解核岭回归系统，将解限制在由核矩阵与响应向量生成的Krylov子空间中。
• 采用早停作为正则化手段以防止过拟合，停止规则基于残差范数的阈值。
• 通过多项式逼近理论分析收敛性，通过控制CG多项式在零点的导数来抑制误差传播。
• 采用两步误差分解：一步用于初始迭代，一步用于最终停止时间，利用多项式行为的界进行分析。
• 设计的停止规则确保残差范数始终低于与期望噪声水平和核条件数成比例的阈值。
• 通过将解误差与Krylov空间中真实函数的多项式逼近误差关联，推导出L²(ν)与希尔伯特范数下的误差界。

实验结果

研究问题

• RQ1 在随机设计回归中，带有早停策略的核共轭梯度方法可实现何种收敛速率？
• RQ2 收敛速率如何依赖于真实回归函数的光滑性及核空间中数据的有效维度？
• RQ3 当真实函数属于再生核希尔伯特空间时，该方法能否实现极小极大最优速率？
• RQ4 当真实函数不在RKHS中时，收敛速率如何变化？是否可通过无标签数据恢复最优速率？
• RQ5 停止时间的选择如何影响估计误差，其与核矩阵谱性质的关系如何？

主要发现

• 该方法在L²(ν)范数下的收敛速率与在源条件假设下的已知极小极大下界一致。
• 对于属于RKHS的函数，希尔伯特范数下的收敛速率同样为极小极大最优，其速率取决于光滑性参数r与核特征值衰减速率。
• 当真实函数不在RKHS中时，若提供额外的无标签数据，可在适当范数下获得类似的收敛速率。
• 误差界呈O(κ^(-θ) λ_*(r−θ))形式，其中λ_* ~ (D/√n)^{2r/(2r+s)}，表明其对样本量n、光滑性r及核条件数κ的依赖关系。
• 停止规则确保残差范数始终低于与δ(λ_*)和ρ/M成比例的阈值，从而控制过拟合并实现最优速率。
• 分析表明，CG多项式在零点的导数有界于O(λ_*^(-1))，这对控制迭代算法中的误差传播至关重要。