[论文解读] Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression

Giacomo Meanti, Luigi Carratino+2 more|arXiv (Cornell University)|Jan 17, 2022

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出了一种高效、数据相关的复杂度正则化准则，用于大规模核岭回归中的超参数调优，结合Nyström近似方法。通过利用一种基于数据的惩罚项，该方法考虑了随机数据带来的方差，实现了对正则化、核函数以及Nyström中心参数的稳定、自动调优——在大量实验中表现优于现有策略，并已集成至Falkon库中，用于可扩展的核方法。

ABSTRACT

Kernel methods provide a principled approach to nonparametric learning. While their basic implementations scale poorly to large problems, recent advances showed that approximate solvers can efficiently handle massive datasets. A shortcoming of these solutions is that hyperparameter tuning is not taken care of, and left for the user to perform. Hyperparameters are crucial in practice and the lack of automated tuning greatly hinders efficiency and usability. In this paper, we work to fill in this gap focusing on kernel ridge regression based on the Nyström approximation. After reviewing and contrasting a number of hyperparameter tuning strategies, we propose a complexity regularization criterion based on a data dependent penalty, and discuss its efficient optimization. Then, we proceed to a careful and extensive empirical evaluation highlighting strengths and weaknesses of the different tuning strategies. Our analysis shows the benefit of the proposed approach, that we hence incorporate in a library for large scale kernel methods to derive adaptively tuned solutions.

研究动机与目标

• 解决大规模核方法中缺乏自动化超参数调优的问题，特别是针对使用Nyström近似的核岭回归。
• 克服现有调优策略的局限性，这些策略要么计算成本过高，要么仅适用于少数超参数。
• 在大规模设置下，提出一种理论基础扎实、高效的准则，用于调优正则化、核函数及Nyström中心超参数。
• 提供一种实用的实现，将自适应调优集成至FALKON库中，支持可扩展的核方法。
• 通过全面的实证评估，对比多种调优策略，验证所提方法在稳定性和性能方面的优势。

提出的方法

• 提出一种基于数据相关边界的新复杂度正则化准则，该准则可分离由数据随机性带来的方差来源。
• 将超参数调优问题建模为对该准则的优化，结果表明其相比标准方法具有更高的稳定性。
• 设计一种高效算法，利用随机线性代数技术中的迹估计方法计算数据相关的惩罚项。
• 将所提准则集成至FALKON框架中，实现大规模核方法的可扩展、可微分超参数优化。
• 采用高效的求解器和GPU加速技术，在处理数十亿数据点的同时，保持调优过程的低计算成本。
• 在生产就绪的库（Falkon）中实现该方法，支持正则化、核函数及Nyström中心参数的联合调优。

实验结果

研究问题

• RQ1 如何在使用Nyström近似的大型规模核岭回归中，实现高效且稳定的超参数调优？
• RQ2 在复杂度正则化中使用数据相关惩罚项，对超参数选择的稳定性与泛化性能有何影响？
• RQ3 在性能与计算成本方面，所提准则与交叉验证、广义交叉验证及迹估计器等成熟方法相比如何？
• RQ4 该方法能否在大规模数据集（如数十亿个点）上保持准确性与效率？
• RQ5 在大规模核方法中应用时，不同超参数调优策略的相对优缺点是什么？

主要发现

• 所提出的基于数据的复杂度正则化准则显著提升了超参数调优的稳定性，优于广义交叉验证或迹估计器等标准方法。
• 该方法在大规模数据集（包括高达十亿个点的数据）上实现了具有竞争力的泛化性能，同时保持了较低的计算开销。
• 实证评估表明，与基线调优策略相比，该方法在测试误差和对多样化数据分布的鲁棒性方面表现更优。
• 将该方法集成至FALKON库中，实现了在单一可扩展流水线中对多个超参数（正则化、核函数、Nyström中心）的端到端自适应调优。
• 迹估计技术使数据相关惩罚项的高效计算成为可能，从而让该方法在现实世界的大规模应用中具备实用性。
• 该方法在不同数据采样和噪声条件下表现出更优的稳定性，证实了在惩罚项中分离方差来源的理论优势。