[论文解读] Accumulations of Projections—A Unified Framework for Random Sketches in Kernel Ridge Regression

Yifan Chen, Yun Yang|arXiv (Cornell University)|Mar 18, 2021

Face and Expression Recognition被引用 2

一句话总结

该论文提出了一种统一的核岭回归压缩框架，通过累积 m 个重缩放的子采样矩阵，统一了 Nystrom（m=1）和子高斯（m=∞）压缩方法。当非一致性较高时，该方法在子采样基础上提升了精度，并加速了子高斯压缩，实现了效率与精度之间的近似最优权衡，且计算开销极低。

ABSTRACT

Building a sketch of an n-by-n empirical kernel matrix is a common approach to accelerate the computation of many kernel methods. In this paper, we propose a unified framework of constructing sketching methods in kernel ridge regression (KRR), which views the sketching matrix S as an accumulation of m rescaled sub-sampling matrices with independent columns. Our framework incorporates two commonly used sketching methods, sub-sampling sketches (known as the Nystrom method) and sub-Gaussian sketches, as special cases with m=1 and m=infinity respectively. Under the new framework, we provide a unified error analysis of sketching approximation and show that our accumulation scheme improves the low accuracy of sub-sampling sketches when certain incoherence characteristic is high, and accelerates the more accurate but computationally heavier sub-Gaussian sketches. By optimally choosing the number m of accumulations, we show that a best trade-off between computational efficiency and statistical accuracy can be achieved. In practice, the sketching method can be as efficiently implemented as the sub-sampling sketches, as only minor extra matrix additions are needed. Our empirical evaluations also demonstrate that the proposed method may attain the accuracy close to sub-Gaussian sketches, while is as efficient as sub-sampling-based sketches.

研究动机与目标

• 将现有的核岭回归压缩方法统一到一个理论框架下。
• 解决子采样压缩（Nystrom）在高非一致性情形下的局限性。
• 在保持高精度的前提下，加速计算开销较大的子高斯压缩。
• 通过受控累积压缩矩阵，实现计算效率与统计精度之间的最优权衡。

提出的方法

• 该框架将压缩矩阵 S 建模为 m 个具有独立列的重缩放子采样矩阵的累积。
• 它将子采样压缩（Nystrom，m=1）和子高斯压缩（m=∞）统一为同一框架下的极端情况。
• 通过调节累积的子采样矩阵数量 m，实现两种极端之间的平滑过渡。
• 在统一框架下推导误差分析，以量化不同 m 值下的近似精度。
• 该框架支持高效实现，仅需在标准子采样基础上增加少量额外矩阵加法。
• 通过选择最优的 m 值来平衡计算成本与估计误差，从而在实践中实现最佳权衡。

实验结果

研究问题

• RQ1 如何将子采样与子高斯压缩方法统一到核岭回归的单一框架下？
• RQ2 累积参数 m 对压缩近似精度与效率的影响是什么？
• RQ3 在核矩阵的非一致性特征较高时，所提框架能否提升子采样压缩的精度？
• RQ4 该框架是否能在不损失精度的前提下，更高效地计算子高斯压缩？
• RQ5 能够平衡计算成本与统计性能的最优累积次数 m 是多少？

主要发现

• 所提框架将子采样（Nystrom）和子高斯压缩分别作为 m=1 和 m=∞ 时的特例统一起来。
• 当核矩阵的非一致性特征较高时，该方法显著提升了子采样压缩的精度。
• 通过降低计算负担，该框架加速了子高斯压缩，同时保持了高精度。
• 最优 m 的选择实现了计算效率与统计精度之间的有利权衡。
• 实验结果表明，该方法在精度上接近子高斯压缩，同时具备子采样方法的效率。
• 实现仅需少量额外的矩阵加法，使其效率与标准子采样压缩相当。