[论文解读] Convergence Analysis of Deterministic Kernel-Based Quadrature Rules in Misspecified Settings

Motonobu Kanagawa, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|Sep 1, 2017

Mathematical Approximation and Integration参考文献 44被引用 5

一句话总结

本文针对模型误设情形下的确定性核积分规则提供了收敛性分析，其中被积函数的光滑度低于用于构造积分规则的Sobolev RKHS。在两种条件下建立了收敛速率：权重的总变差有界，或设计点间最小距离的衰减缓慢；并表明当设计点满足分离条件时，贝叶斯积分可自适应地达到最优收敛速率，且在较弱的正则性条件下成立。

ABSTRACT

This paper presents a convergence analysis of kernel-based quadrature rules in misspecified settings, focusing on deterministic quadrature in Sobolev spaces. In particular, we deal with misspecified settings where a test integrand is less smooth than a Sobolev RKHS based on which a quadrature rule is constructed. We provide convergence guarantees based on two different assumptions on a quadrature rule: one on quadrature weights, and the other on design points. More precisely, we show that convergence rates can be derived (i) if the sum of absolute weights remains constant (or does not increase quickly), or (ii) if the minimum distance between design points does not decrease very quickly. As a consequence of the latter result, we derive a rate of convergence for Bayesian quadrature in misspecified settings. We reveal a condition on design points to make Bayesian quadrature robust to misspecification, and show that, under this condition, it may adaptively achieve the optimal rate of convergence in the Sobolev space of a lesser order (i.e., of the unknown smoothness of a test integrand), under a slightly stronger regularity condition on the integrand.

研究动机与目标

• 分析当真实被积函数的光滑度低于假设的Sobolev RKHS时，确定性核基积分规则的收敛性。
• 识别在模型误设情况下积分规则仍保持一致的条件。
• 在模型误设情形下建立贝叶斯积分的收敛速率。
• 推导使贝叶斯积分对误设具有鲁棒性并能自适应未知被积函数光滑度的设计点条件。

提出的方法

• 在两种不同假设下分析Sobolev空间中的收敛性：积分权重的总变差有界，以及设计点间最小距离的衰减缓慢。
• 利用再生核希尔伯特空间（RKHS）中的最坏情况误差界推导收敛速率。
• 应用傅里叶分析及光滑紧支集核的性质，刻画近似函数的正则性。
• 推导近似函数的Sobolev范数相对于原函数范数与一个缩放参数的界。
• 利用L2空间中傅里叶变换的等距性质，证明近似在L2意义下的收敛性。
• 证明当设计点满足分离条件时，贝叶斯积分在较低阶Sobolev空间中可达到最优收敛速率。

实验结果

研究问题

• RQ1 当被积函数的光滑度低于假设的RKHS时，核基积分规则在何种条件下收敛？
• RQ2 在权重总变差有界的条件下，能否为确定性核积分推导收敛速率？
• RQ3 设计点间的最小距离在模型误设情形下对保证收敛性起到何种作用？
• RQ4 如何使贝叶斯积分在被积函数光滑度误设时保持鲁棒性？
• RQ5 当真实被积函数光滑度未知时，贝叶斯积分能否自适应地达到最优收敛速率？

主要发现

• 当绝对积分权重之和有界或增长缓慢时，建立了收敛速率。
• 若设计点间最小距离不衰减过快，则即使在误设情形下，收敛性仍可保证。
• 识别出一个确保贝叶斯积分对误设具有鲁棒性的设计点条件。
• 在该条件下，贝叶斯积分可自适应地在与未知被积函数光滑度阶数相同的Sobolev空间中达到最优收敛速率。
• 在被积函数正则性条件稍强的情况下，贝叶斯积分的收敛速率与Sobolev空间中较低阶的最优速率一致。
• 分析表明，Sobolev范数下的近似误差受原函数范数及与核函数支集相关的缩放参数的控制。