[论文解读] Convergence rate of the data-independent $P$-greedy algorithm in kernel-based approximation

Gabriele Santin, Bernard Haasdonk|arXiv (Cornell University)|Dec 8, 2016

Numerical methods in inverse problems被引用 28

一句话总结

本文建立了核逼近中数据无关的 $P$-贪婪算法的收敛速率，证明其对生成 Sobolev 空间的核可达到近乎最优的收敛速率。该方法通过最大化幂函数选择采样点，确保点集渐近均匀分布，并为原生空间中所有函数提供一致的误差界。

ABSTRACT

Kernel-based methods provide flexible and accurate algorithms for the reconstruction of functions from meshless samples. A major question in the use of such methods is the influence of the samples locations on the behavior of the approximation, and feasible optimal strategies are not known for general problems. Nevertheless, efficient and greedy point-selection strategies are known. This paper gives a proof of the convergence rate of the data-independent extit{$P$-greedy} algorithm, based on the application of the convergence theory for greedy algorithms in reduced basis methods. The resulting rate of convergence is shown to be near-optimal in the case of kernels generating Sobolev spaces. As a consequence, this convergence rate proves that, for kernels of Sobolev spaces, the points selected by the algorithm are asymptotically uniformly distributed, as conjectured in the paper where the algorithm has been introduced.

研究动机与目标

• 建立核逼近中数据无关的 $P$-贪婪算法的收敛速率。
• 证明该算法对生成 Sobolev 空间的核可实现近乎最优的收敛速率。
• 确认所选点集的渐近均匀分布性，验证先前研究中的猜想。
• 通过高斯核与 Wendland 核的数值实验验证理论收敛速率。

提出的方法

• 该 $P$-贪婪算法在 $\Omega$ 中迭代选择点，以最大化幂函数 $P_{V(X_{n-1})}$，从而确保一致的逼近误差界。
• 理论收敛性分析基于简化基方法中贪婪算法收敛理论。
• 使用幂函数 $P_{V(X_n)}(x)$ 作为选择准则，其定义为原生空间 $\mathcal{H}_K(\Omega)$ 上归一化插值误差的上确界。
• 数值实现采用无矩阵牛顿基公式，以高效计算幂函数。
• 计算中使用 $\Omega$ 的离散化 $\tilde{\Omega}$，即在 $[-1,1]^d$ 中与单位球相交的均匀网格。
• 实验中对高斯核与 Wendland 核采用固定的形状参数 ($\varepsilon=1$)，停止容差为 $\tau=10^{-15}$ 或点数 $n=1000$。

实验结果

研究问题

• RQ1 数据无关的 $P$-贪婪算法在核逼近中的收敛速率是多少？
• RQ2 $P$-贪婪算法是否产生渐近均匀分布的点集？
• RQ3 理论收敛速率与高斯核和 Wendland 核的数值衰减速率相比如何？
• RQ4 所选点的填充距离是否可被与幂函数衰减速率一致的速率所界定？
• RQ5 对生成 Sobolev 空间的核，该收敛速率是否近乎最优？

主要发现

• 该 $P$-贪婪算法对生成 Sobolev 空间的核实现了近乎最优的收敛速率，验证了理论预期。
• 数值实验确认了高斯核的理论衰减速率，表 1 中报告了估计系数 $\hat{c}_2$ 和 $\hat{c}_3$。
• 对于 Wendland 核，定理 8 的理论速率不够紧致；相反，备注 9 中提出的修正速率更符合数值衰减。
• 表 2 中报告了改进速率的估计系数 $\hat{c}_1$，显示其对维度 $d$ 和光滑性 $\beta$ 的依赖关系。
• 所选点的填充距离衰减速率与推论 11 一致，验证了理论界。
• 使用离散化域 $\tilde{\Omega}$ 对数值结果产生影响，特别是在接近机器精度时，但整体趋势与理论一致。