[论文解读] Convergence guarantees for kernel-based quadrature rules in misspecified settings

Motonobu Kanagawa, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|May 24, 2016

Matrix Theory and Algorithms被引用 9

一句话总结

该论文在被假设的再生核希尔伯特空间（RKHS）或索博列夫空间光滑性低于真实情况的设定下，建立了基于核的求积规则的收敛性保证。证明了收敛速率能够自适应于被积函数未知的光滑性，即使真实光滑性低于假设的RKHS或索博列夫空间阶数，也能实现最优收敛速率。

ABSTRACT

Kernel-based quadrature rules are becoming important in machine learning and statistics, as they achieve super-$\sqrt{n}$ convergence rates in numerical integration, and thus provide alternatives to Monte Carlo integration in challenging settings where integrands are expensive to evaluate or where integrands are high dimensional. These rules are based on the assumption that the integrand has a certain degree of smoothness, which is expressed as that the integrand belongs to a certain reproducing kernel Hilbert space (RKHS). However, this assumption can be violated in practice (e.g., when the integrand is a black box function), and no general theory has been established for the convergence of kernel quadratures in such misspecified settings. Our contribution is in proving that kernel quadratures can be consistent even when the integrand does not belong to the assumed RKHS, i.e., when the integrand is less smooth than assumed. Specifically, we derive convergence rates that depend on the (unknown) lesser smoothness of the integrand, where the degree of smoothness is expressed via powers of RKHSs or via Sobolev spaces.

研究动机与目标

• 解决当被积函数的光滑性低于再生核希尔伯特空间（RKHS）假设时，核求积缺乏理论保证的问题。
• 提供依赖于被积函数实际（未知）光滑性的收敛速率保证，而非依赖于假设的光滑性。
• 在设定不正确的情况下，为随机和确定性点集建立一致性和自适应收敛速率。
• 证明即使事先不知道被积函数的真实光滑性，也能通过利用RKHS和索博列夫空间的性质，实现最优收敛速率。

提出的方法

• 在假设被积函数属于较低阶索博列夫空间 $W_2^s$ 且 $s \leq r$ 的条件下推导核求积的收敛速率，其中 $r$ 为假设的光滑性阶数。
• 即使 $f \notin \mathcal{H}$，也使用RKHS $\mathcal{H}$ 中的最坏情况误差来界定积分误差。
• 引入参数 $\theta = s/r$ 以表达被积函数的相对光滑性，得到收敛速率 $O(n^{-\theta b + (1/2 - c)(1 - \theta)})$。
• 在分离半径 $q_n \geq Cn^{-b/r}$ 和有界直径的假设下，建立确定性收敛速率 $O(n^{-bs/r})$。
• 将结果应用于特定方法，如格点规则和巴赫的求积规则，证明其在科罗鲍夫空间中对未知光滑性的自适应性。
• 利用索博列夫空间与RKHS之间范数等价性和嵌入定理，将误差与被积函数的真实光滑性联系起来。

实验结果

研究问题

• RQ1 当被积函数的光滑性低于假设的RKHS或索博列夫空间时，核求积规则是否仍保持一致？
• RQ2 在真实光滑性 $s$ 未知且 $s < r$ 的设定不正确情形下，可以保证什么样的收敛速率？
• RQ3 核求积方法是否能自适应地在不知晓被积函数光滑性的情况下实现最优收敛速率？
• RQ4 对权重 $w_i$ 或分离半径 $q_n$ 的假设如何影响设定不正确情形下的收敛性？
• RQ5 现有方法如格点规则和巴赫的求积规则在被积函数的光滑性低于假设时，是否仍能保持最优收敛速率？

主要发现

• 即使被积函数不属于假设的RKHS，核求积规则仍具有一致性，收敛速率为 $O(n^{-\theta b + (1/2 - c)(1 - \theta)})$，其中 $\theta = s/r$ 为相对光滑性。
• 对于满足 $c = 1/2$ 的确定性点集，收敛速率变为 $O(n^{-sb/r})$，当 $b = r/d$ 时，该速率与 $W_2^s$ 中的最优速率 $O(n^{-s/d})$ 一致。
• 在分离半径条件 $q_n \geq Cn^{-b/r}$ 下可实现速率 $O(n^{-bs/r}}$，该条件在紧致域中的等距网格中成立。
• 结果表明，只要知道 $s \leq r$，即使不知道 $s$，也能实现 $W_2^s$ 中的最优收敛速率，证明了对未知光滑性的自适应性。
• 该理论适用于随机和确定性求积规则，包括格点规则和巴赫的求积规则，确保在实际设定不正确情形下的鲁棒性。
• 收敛保证适用于 $C_0^s \cap W_2^s$ 中的被积函数，且 $s \leq r$，覆盖了低于假设RKHS光滑性的广泛光滑性水平。