[论文解读] Generalized Kernel Thinning

Raaz Dwivedi, Lester Mackey|arXiv (Cornell University)|Oct 4, 2021

Gaussian Processes and Bayesian Inference参考文献 44被引用 5

一句话总结

本文提出了广义核缩减（GKT），一种通过构建紧凑、低误差的合核表示来改进概率推理的方法。通过直接对目标核（目标KT）应用核缩减，或使用分数阶幂核（幂KT），该方法实现了无维度依赖的、亚蒙特卡洛MMD误差率——在包括拉普拉斯和马特ERN核等非光滑、不可开方根核在内的多种核上，优于标准i.i.d.采样和以往的核缩减方法。所提出的KT+变体结合了两者的优势，为一大类核和分布提供了最优保证。

ABSTRACT

The kernel thinning (KT) algorithm of Dwivedi and Mackey (2021) compresses a probability distribution more effectively than independent sampling by targeting a reproducing kernel Hilbert space (RKHS) and leveraging a less smooth square-root kernel. Here we provide four improvements. First, we show that KT applied directly to the target RKHS yields tighter, dimension-free guarantees for any kernel, any distribution, and any fixed function in the RKHS. Second, we show that, for analytic kernels like Gaussian, inverse multiquadric, and sinc, target KT admits maximum mean discrepancy (MMD) guarantees comparable to or better than those of square-root KT without making explicit use of a square-root kernel. Third, we prove that KT with a fractional power kernel yields better-than-Monte-Carlo MMD guarantees for non-smooth kernels, like Laplace and Matérn, that do not have square-roots. Fourth, we establish that KT applied to a sum of the target and power kernels (a procedure we call KT+) simultaneously inherits the improved MMD guarantees of power KT and the tighter individual function guarantees of target KT. In our experiments with target KT and KT+, we witness significant improvements in integration error even in $100$ dimensions and when compressing challenging differential equation posteriors.

研究动机与目标

• 为解决标准i.i.d.采样与缩减在概率推理中效率低下、积分误差随$n^{-1/4}$增长的问题。
• 克服以往核缩减（KT）方法依赖平方根核并导致维度相关误差界的问题。
• 构建一个统一框架，为任意核（包括无平方根的核，如拉普拉斯和马特ERN核）提供更紧致、无维度依赖的MMD保证。
• 通过一种新型KT+过程，统一目标KT（紧致个体函数保证）与幂KT（改进的MMD速率）的优势。

提出的方法

• 提出目标核缩减（目标KT），直接对目标核$\mathbf{k}$应用KT算法，避免使用平方根核，从而获得更紧致、无维度依赖的MMD保证。
• 提出幂核缩减（幂KT），使用分数阶$\alpha$-幂核$\mathbf{k}_\alpha$，使非光滑核（如拉普拉斯和马特ERN核）的MMD误差率得到改进，这些核本身不具有平方根。
• 开发KT+，一种混合方法，通过在目标核与幂核之和上应用缩减，结合目标KT与幂KT的优势，继承两者的最优保证。
• 利用覆盖数界与尾半径分析，推导出在不同矩与尾部条件下，包括高斯、反多二次、正弦样条与马特ERN核在内的多种核的MMD误差率。
• 利用概率集中不等式与RKHS范数控制，建立个体函数在RKHS中高概率的$\mathcal{O}(n^{-1/2}\sqrt{\log n})$积分误差。
• 通过精细分析核的谱性质及原始测度与缩减测度之间的差异，推导出无维度依赖的MMD误差界。

实验结果

研究问题

• RQ1 核缩减能否被推广，以在不依赖平方根核的前提下，实现更紧致、无维度依赖的MMD误差保证？
• RQ2 对于不具平方根的非光滑核（如拉普拉斯和马特ERN核），能否实现改进的MMD误差率？
• RQ3 能否通过统一方法，结合目标KT的个体函数精度与幂KT的MMD性能？
• RQ4 广义核缩减的理论保证是否在包括解析与非解析核在内的多种核上均成立？

主要发现

• 目标KT对RKHS中任意函数均实现$\mathcal{O}(n^{-1/2}\sqrt{\log n})$的积分误差，其保证无维度依赖，适用于任意核与分布（包括重尾分布）。
• 对于解析核（如高斯、反多二次与正弦样条核），目标KT在无需平方根核的前提下，实现了与根KT相当或更优的MMD误差。
• 使用分数阶$\alpha$-幂核的幂KT，对非光滑核（如拉普拉斯与马特ERN核）实现$\mathcal{O}(n^{-1/4\alpha})$的MMD误差，其中拉普拉斯核要求$\alpha > 1/2$，马特ERN核要求$\alpha > d/(2\nu)$。
• KT+实现了目标KT与幂KT的MMD误差率下限，对满足$\nu > d/2$的马特ERN核实现最优$\mathcal{O}(n^{-1/4\alpha})$误差，对解析核实现$\mathcal{O}(n^{-1/2}\sqrt{\log n})$误差。
• 在高维设置（最高达100维）中，实验表明，使用目标KT与KT+压缩具有挑战性的微分方程后验分布时，积分误差显著降低。
• 目标KT在所有核上（包括无平方根核）均实现$\mathcal{O}(n^{-1/2}\sqrt{\log n})$的MMD误差，优于i.i.d.缩减的$\Omega(n^{-1/4})$误差。