[论文解读] Kernel Ridge Regression via Partitioning

Rashish Tandon, Si Si+2 more|arXiv (Cornell University)|Aug 5, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用 8

一句话总结

本文提出了一种基于划分的分治方法用于核岭回归（KRR），其中数据根据输入空间的划分（例如通过聚类）被分割为互不相交的子集，并在每个子集上训练一个局部KRR模型。主要贡献在于，该方法在逼近误差方面优于全局KRR或对随机划分取平均的方法，且能达到最优的极小化极大率，同时在不引入额外逼近误差的前提下，兼具统计与计算优势。

ABSTRACT

In this paper, we investigate a divide and conquer approach to Kernel Ridge Regression (KRR). Given n samples, the division step involves separating the points based on some underlying disjoint partition of the input space (possibly via clustering), and then computing a KRR estimate for each partition. The conquering step is simple: for each partition, we only consider its own local estimate for prediction. We establish conditions under which we can give generalization bounds for this estimator, as well as achieve optimal minimax rates. We also show that the approximation error component of the generalization error is lesser than when a single KRR estimate is fit on the data: thus providing both statistical and computational advantages over a single KRR estimate over the entire data (or an averaging over random partitions as in other recent work, [30]). Lastly, we provide experimental validation for our proposed estimator and our assumptions.

研究动机与目标

• 为解决大规模数据集上核岭回归（KRR）的高计算成本问题，其核矩阵求逆的复杂度为O(n³)。
• 克服现有分治KRR方法的局限性，这些方法或引入额外逼近误差，或依赖于限制性假设（例如有界协变量、特定核函数）。
• 开发一种基于划分的KRR估计器，实现最优极小化极大率，同时相比全局KRR或对随机划分取平均的方法，降低逼近误差。
• 在适用于广泛核函数的温和、通用假设下，建立所提方法的泛化误差界。

提出的方法

• 使用固定划分（例如通过聚类）将输入空间划分为互不相交的区域，并将训练样本分配至其对应分区。
• 仅使用局部数据，在每个分区上独立训练一个KRR模型，从而得到m个局部估计器。
• 在预测阶段，将测试点分配至其对应分区，并应用该分区的局部KRR模型进行推理。
• 理论分析依赖于每个分区内核矩阵的谱分解，以及对估计误差矩阵谱范数的界。
• 利用集中不等式，并结合对特征值衰减的假设（假设1）以控制估计误差并推导泛化误差界。
• 通过矩阵扰动理论及迹/谱范数不等式，推导误差的三个组成部分：逼近误差（T₁）、估计误差（T₂）和模型不匹配误差（T₃）。

实验结果

研究问题

• RQ1 基于划分的KRR方法是否能在降低逼近误差的同时实现最优极小化极大率，相比全局KRR？
• RQ2 所提方法在逼近误差方面是否相比对随机划分取平均（如[30]）具有统计优势？
• RQ3 在何种划分与核结构条件下，局部KRR估计器的泛化性能优于全局KRR估计器？
• RQ4 当真实函数位于再生核希尔伯特空间之外时，基于划分的估计器的逼近误差是否严格小于全局KRR估计器？
• RQ5 在所提出的划分框架中，计算效率与统计性能之间存在何种权衡？

主要发现

• 在温和假设下，所提基于划分的KRR估计器可实现最优极小化极大率，其估计误差性能与全局KRR相当，但计算成本更低。
• 由于能够建模分段核函数，基于划分的估计器的逼近误差严格小于全局KRR估计器或[30]中基于平均的估计器。
• 该方法实现了低于全局KRR的泛化误差界，主要归因于更低的逼近误差，而残余估计误差保持相近。
• 理论分析表明，在假设1下，估计误差分量（T₂）的界为O(√(log d / n))，且显式依赖于分区的特征值衰减速率。
• 预测时间快于全局KRR，因为每次预测仅使用训练点的一小部分，得益于局部模型的使用。
• 实证验证表明，实际中逼近误差更低，尤其当真实函数在局部区域平滑或在不同输入区域具有变化结构时。