[论文解读] Greedy regularized kernel interpolation

Gabriele Santin, Dominik Wittwar+1 more|arXiv (Cornell University)|Jul 25, 2018

Numerical methods in engineering参考文献 9被引用 3

一句话总结

本文提出一种贪心正则化核插值方法，通过迭代选择核中心来构建稀疏、稳定且精确的散乱数据近似。该方法确保渐近次优收敛速率，并提升昂贵函数评估的计算效率。

ABSTRACT

Kernel based regularized interpolation is a well known technique to approximate a continuous multivariate function using a set of scattered data points and the corresponding function evaluations, or data values. This method has some advantage over exact interpolation: one can obtain the same approximation order while solving a better conditioned linear system. This method is well suited also for noisy data values, where exact interpolation is not meaningful. Moreover, it allows more flexibility in the kernel choice, since approximation problems can be solved also for non strictly positive definite kernels. We discuss in this paper a greedy algorithm to compute a sparse approximation of the kernel regularized interpolant. This sparsity is a desirable property when the approximant is used as a surrogate of an expensive function, since the resulting model is fast to evaluate. Moreover, we derive convergence results for the approximation scheme, and we prove that a certain greedy selection rule produces asymptotically quasi-optimal error rates.

研究动机与目标

• 解决代理建模中密集核插值在昂贵函数评估下的计算低效问题。
• 开发一种稀疏近似方案，在降低评估成本的同时保持高精度。
• 确保对非严格正定核（实践中常见）的稳定性与收敛性。
• 在贪心选择规则下，提供收敛速率的理论保证。
• 通过正则化提升对噪声数据的鲁棒性，实现可靠近似。

提出的方法

• 使用带有Tikhonov型惩罚的核基正则化插值，以稳定线性系统的求解。
• 应用贪心算法从数据集中迭代选择核中心（支持点）以构建稀疏近似。
• 基于贪心规则在每一步选择能最大程度减少残差误差的中心。
• 利用Kolmogorov n-宽度的衰减性质与核矩阵的奇异值推导误差界。
• 证明在一定光滑性假设下，贪心选择规则可实现渐近次优收敛速率。
• 利用表示定理将插值函数表示为以选定点为中心的核函数的线性组合。

实验结果

研究问题

• RQ1 贪心算法能否生成保持高近似精度的稀疏核插值近似？
• RQ2 贪心选择规则是否能为核插值带来渐近次优收敛速率？
• RQ3 与标准正则化插值相比，该方法在稳定性和条件数方面表现如何？
• RQ4 该方法是否可在不损失收敛性保证的前提下应用于非严格正定核？
• RQ5 在核函数具有光滑性假设的条件下，贪心正则化插值的理论误差衰减速率如何？

主要发现

• 在所提出的选取规则下，贪心正则化插值近似实现了渐近次优的误差速率。
• 该方法即使在非严格正定核下也能保证线性系统的良好条件性，而精确插值则不能。
• 近似误差的衰减速率与最优的n项近似相当，且显式常数依赖于核的光滑性。
• 对于具有 $ C^{2\tau} $ 光滑性的核，该方法可保证在 $ C^\tau $-范数下的收敛性。
• 通过利用Kolmogorov n-宽度衰减递归估计奇异值，推导出误差界，从而得到收敛速率中的显式常数。
• 由于正则化参数 $ \lambda > 0 $ 的存在，该方法对噪声数据具有鲁棒性，可防止过拟合。