[论文解读] Kernel Alignment Risk Estimator: Risk Prediction from Training Data

Arthur Paul Jacot, Berfin Şimşek+3 more|arXiv (Cornell University)|Jan 1, 2020

Statistical Mechanics and Entropy被引用 5

一句话总结

本文提出核对齐风险估计器（KARE），一种基于数据的预测方法，仅使用训练数据即可预测核岭回归（KRR）的泛化风险。通过利用信号捕获阈值及Wishart矩阵的有限样本分析，KARE提供了对KRR风险的准确、分布无关的近似，实现了在Higgs和MNIST数据集上具有强经验性能的核函数与超参数选择。

ABSTRACT

We study the risk (i.e. generalization error) of Kernel Ridge Regression (KRR) for a kernel $K$ with ridge $\lambda>0$ and i.i.d. observations. For this, we introduce two objects: the Signal Capture Threshold (SCT) and the Kernel Alignment Risk Estimator (KARE). The SCT $\vartheta_{K,\lambda}$ is a function of the data distribution: it can be used to identify the components of the data that the KRR predictor captures, and to approximate the (expected) KRR risk. This then leads to a KRR risk approximation by the KARE $ ho_{K, \lambda}$, an explicit function of the training data, agnostic of the true data distribution. We phrase the regression problem in a functional setting. The key results then follow from a finite-size analysis of the Stieltjes transform of general Wishart random matrices. Under a natural universality assumption (that the KRR moments depend asymptotically on the first two moments of the observations) we capture the mean and variance of the KRR predictor. We numerically investigate our findings on the Higgs and MNIST datasets for various classical kernels: the KARE gives an excellent approximation of the risk, thus supporting our universality assumption. Using the KARE, one can compare choices of Kernels and hyperparameters directly from the training set. The KARE thus provides a promising data-dependent procedure to select Kernels that generalize well.

研究动机与目标

• 开发一种仅使用训练数据、无需了解底层数据分布的核岭回归（KRR）泛化风险预测方法。
• 通过一种新颖的泛函分析框架，识别KRR预测器所捕获的数据分布的组成部分。
• 通过Wishart随机矩阵的Stieltjes变换的有限样本分析，为风险预测建立理论基础。
• 验证一个普遍性假设，即KRR风险矩仅依赖于观测值的一、二阶矩。
• 提供一种仅基于训练数据的实用工具，用于核函数与超参数选择，以提升模型泛化能力。

提出的方法

• 引入信号捕获阈值（SCT）$\vartheta_{K,\lambda}$，一种从数据分布导出的泛函对象，用于识别KRR所捕获的数据成分。
• 推导出核对齐风险估计器（KARE）$\rho_{K,\lambda}$，一种显式的、依赖于训练集的数据函数，可在无需真实数据分布的情况下近似期望的KRR风险。
• 应用一般Wishart随机矩阵的Stieltjes变换的有限样本分析，以在普遍性假设下刻画KRR预测器的均值与方差。
• 假设KRR风险矩在渐近下仅依赖于观测值的一、二阶矩，从而实现分布无关的风险估计。
• 在泛函设定下进行回归，将问题表述为核函数与数据协方差的算子及谱性质。
• 在Higgs和MNIST数据集上使用经典核函数对方法进行经验验证，显示KARE与实际风险之间具有高度一致性。

实验结果

研究问题

• RQ1 是否可以仅从训练数据出发，无需真实数据分布知识，准确预测核岭回归的泛化风险？
• RQ2 KRR预测器捕获了数据分布的哪些组成部分，以及如何对其进行量化？
• RQ3 在有限样本中，KRR风险矩仅依赖于观测值一、二阶矩的普遍性假设是否成立？
• RQ4 所提出的KARE估计器在不同核函数与数据集上对真实KRR风险的近似效果如何？
• RQ5 KARE是否可作为仅基于训练数据选择核函数与岭超参数的可靠准则？

主要发现

• KARE提供了对期望KRR风险的高度准确、数据依赖的近似，在Higgs与MNIST数据集上均表现出优异的实证性能。
• 信号捕获阈值$\vartheta_{K,\lambda}$成功识别了KRR预测器所捕获的数据成分，从而为模型学习行为提供了洞察。
• Wishart矩阵的有限样本分析支持了在所提普遍性假设下KRR预测器均值与方差的理论推导。
• 普遍性假设——即KRR风险矩渐近下仅依赖于观测值的一、二阶矩——在实践中表现良好，验证了该方法的理论基础。
• KARE使仅基于训练集即可直接比较不同核函数与岭超参数成为可能，为模型选择提供实用工具。
• 数值实验确认，KARE在各种经典核函数下均能紧密跟踪真实泛化误差，证明其作为风险预测器的可靠性。