[论文解读] Adaptive Kernel Methods

Tamás Dózsa, Andrea Angino+3 more|arXiv (Cornell University)|Jan 29, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

论文提出自适应核方法，学习参数相关的 RKHSs，形成固定维度、数据高效的解空间，从而实现大规模数据集的可扩展核模型。

ABSTRACT

Kernel methods approximate nonlinear maps in a data-driven manner by projecting the target map onto a finite-dimensional Hilbert space called the solution space. Traditionally, this space is a subspace of a fixed ambient reproducing kernel Hilbert space (RKHS), determined solely by the chosen kernel and the dataset, whose elements identify the basis elements. Consequently, the projection operator underlying the kernel method depends on the loss function, the dataset, and the choice of ambient RKHS. In this study, we consider kernel methods whose solution spaces also depend on learnable parameters that are independent of the dataset. The resulting methods can be viewed as variable projection operators that depend on the loss function, the dataset, and the new learnable parameters instead of a fixed RKHS. This work has two main contributions. First, we propose an efficient approximation of kernels associated with infinite-dimensional RKHSs, commonly used to reduce the solution-space dimension for large datasets. Second, we construct fixed-dimensional, parameter-dependent solution spaces that enable highly efficient kernel models suitable for large-scale problems without the need to approximate kernels of infinite-dimensional RKHSs. Our novel family of adaptive kernel methods generalizes earlier approaches, including Random Fourier Features, and we demonstrate their effectiveness through several numerical experiments.

研究动机与目标

• 将核方法 motivate 为在 RKHS 中对数据驱动的解空间的投影。
• 提出自适应核形式化，其中解空间依赖于可学习的、数据集无关的参数 Λ。
• 开发高效的核近似，使大规模问题具备固定维度、可控的模型复杂度。
• 展示自适应核如何推广并改进如随机傅里叶特征（RFF）等现有方法。

提出的方法

• 将核方法表述为投影到由核切片张成的子空间 G，子空间由核和数据集决定。
• 引入自适应核方法，其中环境 RKHS 依赖于可学习参数 Λ，由基于损失的投影得到 f^Λ。
• 提供两种策略：(i) 用有限维自适应核近似无限维 RKHS 的核；(ii) 固定 Λ 以获得 D 维 RKHS 并直接求解优化。
• 推导用于核近似 ξ(x,t) ≈ ξ_D(x,t) 的普适误差公式，使用 RKHS 中的有限正交基 {φ_j}。
• 证明随机傅里叶特征是所提框架的一个特例。
• 概述得到 Λ* 及相应 f^Λ* 的优化过程，并在弱假设下讨论存在性。

实验结果

研究问题

• RQ1 如何将核方法扩展为使用参数相关的 RKHS，以将解空间自适应到目标函数 F？
• RQ2 在保持可计算性可扩展性的同时，自适应核是否能够为无限维 RKHS 的核提供准确的有限维近似？
• RQ3 自适应核模型在何种程度上推广了如随机傅里叶特征等现有方法？
• RQ4 在大数据集上实现高性能的 Λ 与核系数的优化有哪些实际策略？

主要发现

• 自适应核方法实现了固定维度、参数相关的解空间，从而提高大数据集的可扩展性。
• 误差公式揭示核近似质量如何依赖于 RKHS 内正交基的选择。
• 该框架将随机傅里叶特征作为一个特例。
• 两个数值实验显示与 RFF 相比在训练成本相近的情况下性能有所提升。
• 在某些情形下，该方法产生可解释的学习参数 Λ，并在合适的参数化下实现低复杂度模型的完美重建。
• 论文提供可复现的结果以及代码/数据可获得性。