[论文解读] Kernel interpolation with continuous volume sampling

Ayoub Belhadji, R. Bardenet+1 more|arXiv (Cornell University)|Feb 22, 2020

Statistical Methods and Inference参考文献 58被引用 6

一句话总结

本文提出连续体积采样（VS），一种用于核插值与求积的新型随机设计，通过偏好核矩阵行列式较高的配置来选择节点位置。该方法在任意再生核希尔伯特空间（RKHS）中提供了紧致的、与谱相关的插值与求积误差界，其关键贡献在于非渐近保证，可匹配或优于先前方法，同时仅通过逐点核评估即可实现高效的马尔可夫链蒙特卡洛（MCMC）采样。

ABSTRACT

A fundamental task in kernel methods is to pick nodes and weights, so as to approximate a given function from an RKHS by the weighted sum of kernel translates located at the nodes. This is the crux of kernel density estimation, kernel quadrature, or interpolation from discrete samples. Furthermore, RKHSs offer a convenient mathematical and computational framework. We introduce and analyse continuous volume sampling (VS), the continuous counterpart -- for choosing node locations -- of a discrete distribution introduced in (Deshpande & Vempala, 2006). Our contribution is theoretical: we prove almost optimal bounds for interpolation and quadrature under VS. While similar bounds already exist for some specific RKHSs using ad-hoc node constructions, VS offers bounds that apply to any Mercer kernel and depend on the spectrum of the associated integration operator. We emphasize that, unlike previous randomized approaches that rely on regularized leverage scores or determinantal point processes, evaluating the pdf of VS only requires pointwise evaluations of the kernel. VS is thus naturally amenable to MCMC samplers.

研究动机与目标

• 开发一种理论基础扎实、计算高效的随机设计，用于任意RKHS中的核插值与求积。
• 提供显式依赖于核积分算子谱的插值与求积的非渐近误差界。
• 设计一种采样机制，避免依赖完整的梅林分解，从而实现基于MCMC的实用化实现。
• 建立连续体积采样与投影确定性点过程（DPPs）之间的联系，利用几何与概率结构。
• 证明该方法在包括Sobolev空间与高斯空间在内的多种RKHS中均实现近乎最优的误差率。

提出的方法

• 提出连续体积采样（VS）作为节点配置上的连续概率分布，偏好核矩阵行列式较高的集合。
• 通过子集上核矩阵的永久式定义VS的联合密度，从而生成偏好多样化、分布均匀的节点的分布。
• 证明VS可表示为投影确定性点过程（DPPs）的混合，将其与现有排斥型点过程联系起来。
• 推导VS下期望杠杆度的显式公式，表明其对节点数量与谱衰减的平滑依赖关系。
• 利用核积分算子的谱分解，将插值与求积误差表示为特征值与初等对称多项式的函数。
• 证明评估VS密度仅需核的逐点评估，从而可在无需完整谱分解的情况下实现高效MCMC采样。

实验结果

研究问题

• RQ1 能否构建一种核插值的随机设计，在不依赖梅林分解的前提下，对所有RKHS均实现近乎最优的误差界？
• RQ2 在连续体积采样下，插值误差如何随节点数量与核积分算子谱的变化而变化？
• RQ3 若仅能访问逐点核评估，是否可高效实现连续体积采样的MCMC方法？
• RQ4 连续体积采样与现有排斥型点过程（如DPPs）之间存在何种关系？
• RQ5 对于核算子的特征函数，VS下的期望杠杆度与插值误差行为如何？

主要发现

• RKHS中任意函数的期望插值误差受一个随节点数衰减且依赖于核积分算子特征值的项所限制。
• 对于特征函数 $e_m$，VS下的期望插值误差上界为 $\sigma_m \left( \sum_{U \in \mathcal{U}_N} \prod_{u \in U} \sigma_u \right)^{-1} \sum_{U \in \mathcal{U}_N^m} \prod_{u \in U} \sigma_u$，在特定情况下与已知最优率一致。
• 期望杠杆度 $\mathbb{E}_{\text{VS}} \tau_m^\mathcal{F}(\bm{x})$ 在平滑核中于 $N = m$ 处表现出尖锐的过渡，表明当 $N > m$ 时可实现近乎完美的重构。
• 对于Sobolev核，误差界中的常数 $B$ 随光滑参数 $s \to \infty$ 收敛于 $e$；对于高斯核，当 $\alpha \to 0$ 时收敛于 $0$，表明更平滑或更规则的核具有更优性能。
• 该方法在所有测试的RKHS（包括周期Sobolev空间与高斯空间）中均实现了近乎最优的误差界，且无需显式知晓核的谱分解。
• 连续体积采样的联合密度仅通过逐点核评估即可计算，使其适用于MCMC采样，并可扩展至高维或复杂域。