[论文解读] Fast multilevel sparse Gaussian kernels for high-dimensional approximation and integration

Zhaonan Dong, Emmanuil H. Georgoulis+2 more|arXiv (Cornell University)|Jan 14, 2015

Probabilistic and Robust Engineering Design参考文献 13被引用 3

一句话总结

该论文提出了一种基于方向缩放张量积高斯核的快速多级稀疏核插值（MLSKI）方法，用于在5至10维范围内进行高维逼近与积分。通过利用各向异性高斯核的张量积结构，该方法可实现完全并行化的计算，借助预先计算的一维基函数，显著降低计算成本并实现高精度，同时在插值与数值积分问题中均展现出最优收敛速率。

ABSTRACT

A fast multilevel algorithm based on directionally scaled tensor-product Gaussian kernels on structured sparse grids is proposed for interpolation of high-dimensional functions and for the numerical integration of high-dimensional integrals. The algorithm is based on the recent Multilevel Sparse Kernel-based Interpolation (MLSKI) method (Georgoulis, Levesley \& Subhan, \emph{SIAM J. Sci. Comput.}, 35(2), pp.~A815--A831, 2013), with particular focus on the fast implementation of Gaussian-based MLSKI for interpolation and integration problems of high-dimen-sional functions $f:[0,1]^d o\mathbb{R}$, with $5\le d\le 10$. The MLSKI interpolation procedure is shown to be interpolatory and a fast implementation is proposed. More specifically, exploiting the tensor-product nature of anisotropic Gaussian kernels, one-dimensional cardinal basis functions on a sequence of hierarchical equidistant nodes are precomputed to machine precision, rendering the interpolation problem into a fully parallelisable ensemble of linear combinations of function evaluations. A numerical integration algorithm is also proposed, based on interpolating the (high-dimensional) integrand. A series of numerical experiments highlights the applicability of the proposed algorithm for interpolation and integration for up to 10-dimensional problems.

研究动机与目标

• 解决 $ d \geq 5 $ 时高维函数逼近与积分中的维数灾难问题。
• 开发一种快速、可扩展且精确的算法，用于稀疏网格与高斯核的插值与数值积分。
• 通过利用各向异性高斯核的张量积结构，确保高维问题中的插值性质与高精度。
• 通过预先计算一维基函数，实现完全可并行化的线性组合，提升计算效率。
• 在包括光滑、非光滑及高维被积函数在内的基准问题上验证该方法的有效性。

提出的方法

• 该方法基于通过方向缩放各向异性高斯核构建的层次稀疏网格，采用多级框架。
• 通过预先计算至机器精度的一维张量积基函数，将高维插值问题分解为独立的一维子问题。
• 每一层通过组合低层结果在稀疏网格上执行插值，确保插值收敛性。
• 积分方案首先使用MLSKI对被积函数进行插值，然后通过预先计算的求积权重对插值函数进行数值积分。
• 求积权重通过一维基函数积分的解析表达式导出，利用误差函数实现高精度计算。
• 该算法完全可并行化，因为每个一维插值独立进行，且通过函数取值的线性组合实现。

实验结果

研究问题

• RQ1 基于高斯核的多级稀疏核插值方法是否能在高维问题（$ d \leq 10 $）中实现高精度与快速计算？
• RQ2 各向异性高斯核的张量积结构是否能实现MLSKI的完全并行化与高效实现？
• RQ3 该方法在高维下是否能保持插值性质与光滑及非光滑函数的最优收敛速率？
• RQ4 在具有边界奇点或非张量积结构的高维被积函数中，该方法在数值积分任务中的表现如何？
• RQ5 该方法在5D与10D不同基准函数中的收敛行为与计算效率如何？

主要发现

• 对于5维张量积函数 $ f({\bf x}) = \prod_{i=1}^{5} 4x_i(1-x_i) $，MLSKI方法在754,845个节点下实现了 $ 5.24 \times 10^{-7} $ 的相对误差。
• 对于10维函数 $ g({\bf x}) = \prod_{i=1}^{10} e^{-x_i(1-x_i)} $，相对误差降低至 $ 6.16 \times 10^{-7} $，节点数为331,777，表明其具有鲁棒的收敛性。
• 对于4维Franke函数，相对误差为 $ 3.23 \times 10^{-6} $，节点数为331,777，表明其在非张量积、光滑函数上的有效性。
• 对于具有边界导数不连续性的5维收益函数，相对误差为 $ 9.24 \times 10^{-6} $，节点数为754,845，表明其在非光滑问题上的良好表现。
• 通过结合MLSKI插值与基于误差函数导出的预先计算求积权重，积分方案实现了高精度，支持积分的机器精度计算。
• 该算法的计算成本呈 $ N(\log N)^{d-1} $ 的增长，避免了全网格的指数级成本，同时保持了与维度无关的代数收敛速率。