[논문 리뷰] Fast multilevel sparse Gaussian kernels for high-dimensional approximation and integration

Zhaonan Dong, Emmanuil H. Georgoulis외 2명|arXiv (Cornell University)|2015. 01. 14.

Probabilistic and Robust Engineering Design참고 문헌 13인용 수 3

한 줄 요약

이 논문은 5–10차원에서의 고차원 근사 및 적분을 위한 구조적 희소 그리드 상에서 방향 스케일링이 적용된 텐서곱 가우시안 커널을 사용한 빠른 다수준 희소 커널 기반 보간법(MLSKI)을 제안한다. 이방향성 가우시안의 텐서곱 구조를 활용하여 사전에 계산된 일차원 기저 함수를 통해 완전히 병렬화 가능한 계산을 가능하게 하여 계산 비용을 감소시키면서도 높은 정확도를 달성하고, 보간 및 수치 적분 문제에서 최적 수렴 속도를 입증한다.

ABSTRACT

A fast multilevel algorithm based on directionally scaled tensor-product Gaussian kernels on structured sparse grids is proposed for interpolation of high-dimensional functions and for the numerical integration of high-dimensional integrals. The algorithm is based on the recent Multilevel Sparse Kernel-based Interpolation (MLSKI) method (Georgoulis, Levesley \& Subhan, \emph{SIAM J. Sci. Comput.}, 35(2), pp.~A815--A831, 2013), with particular focus on the fast implementation of Gaussian-based MLSKI for interpolation and integration problems of high-dimen-sional functions $f:[0,1]^d o\mathbb{R}$, with $5\le d\le 10$. The MLSKI interpolation procedure is shown to be interpolatory and a fast implementation is proposed. More specifically, exploiting the tensor-product nature of anisotropic Gaussian kernels, one-dimensional cardinal basis functions on a sequence of hierarchical equidistant nodes are precomputed to machine precision, rendering the interpolation problem into a fully parallelisable ensemble of linear combinations of function evaluations. A numerical integration algorithm is also proposed, based on interpolating the (high-dimensional) integrand. A series of numerical experiments highlights the applicability of the proposed algorithm for interpolation and integration for up to 10-dimensional problems.

연구 동기 및 목표

• 5차원 이상의 고차원 함수 근사 및 적분에서의 차원의 귀책성 문제를 해결하기 위해.
• 희소 그리드와 가우시안 커널을 사용한 보간 및 수치 적분을 위한 빠르고 확장 가능하며 정확한 알고리즘을 개발하기 위해.
• 비대칭 가우시안 커널의 텐서곱 구조를 활용하여 고차원 문제에서 보간 성질과 높은 정확도를 확보하기 위해.
• 일차원 기저 함수의 사전 계산과 완전히 병렬화 가능한 선형 조합을 통해 효율적인 계산을 가능하게 하기 위해.
• 부드럽고 비부드럽고 고차원의 피적분함수를 포함한 기준 문제들에 대해 방법을 검증하기 위해.

제안 방법

• 방향 스케일링이 적용된 비대칭 가우시안 커널을 사용한 텐서곱 구조를 기반으로 한 계층적 희소 그리드를 이용한 다수준 프레임워크를 사용한다.
• 기계 정밀도로 사전 계산된 일차원 기저 함수를 활용하여 고차원 보간 문제를 독립적인 일차원 부분문제로 분해한다.
• 각 수준에서 낮은 수준의 결과를 조합하여 희소 그리드 상에서 보간을 수행함으로써 보간 수렴을 보장한다.
• 적분 방법은 먼저 피적분함수를 MLSKI를 통해 보간하고, 사전 계산된 구적 가중치를 사용하여 보간된 함수를 수치적으로 적분함으로써 적분을 수행한다.
• 구적 가중치는 일변량 기저 함수의 적분으로 분석적으로 유도되며, 오차 함수를 사용하여 고정밀도 평가를 수행한다.
• 각 일차원 보간이 상호 독립적이므로 선형 조합을 통해 함수 값 평가가 이루어지며, 알고리즘이 완전히 병렬화 가능하다.

실험 결과

연구 질문

• RQ1 가우시안 커널을 사용한 다수준 희소 커널 기반 보간법이 10차원 이하의 고차원 문제에서 높은 정확도와 빠른 계산을 달성할 수 있는가?
• RQ2 비대칭 가우시안 커널의 텐서곱 구조가 MLSKI의 완전한 병렬화 및 효율적인 구현을 가능하게 하는가?
• RQ3 이 방법이 부드럽고 비부드러운 함수 모두에 대해 고차원에서 보간 성질과 최적 수렴 속도를 유지할 수 있는가?
• RQ4 특히 경계 특이성이나 비텐서곱 구조를 가진 고차원 피적분함수에 대해 이 방법은 수치 적분 과제에서 어떻게 성능을 발휘하는가?
• RQ5 5D 및 10D에서 다양한 기준 함수에 대해 이 방법의 수렴 행동과 계산 효율성은 어떠한가?

주요 결과

• 5차원 텐서곱 함수 $ f({\bf x}) = \prod_{i=1}^{5} 4x_i(1-x_i) $에 대해 MLSKI 방법은 754,845개의 노드로 상대 오차 $ 5.24 \times 10^{-7} $을 달성하였다.
• 10차원 함수 $ g({\bf x}) = \prod_{i=1}^{10} e^{-x_i(1-x_i)} $에 대해 상대 오차는 331,777개의 노드로 $ 6.16 \times 10^{-7} $로 감소하여 안정적인 수렴을 보였다.
• 4차원 프랑케 함수에 대해 331,777개의 노드로 상대 오차 $ 3.23 \times 10^{-6} $를 기록하여 비텐서곱, 부드러운 함수에 대한 효과성을 입증하였다.
• 경계 도함수 불연속성이 있는 5차원 수익 함수에 대해 754,845개의 노드로 상대 오차 $ 9.24 \times 10^{-6} $를 달성하여 비부드러운 문제에 대한 우수한 성능을 보였다.
• 적분 방법은 MLSKI 보간과 오차 함수에서 유도된 사전 계산된 구적 가중치를 조합하여 고정밀도 적분 평가를 가능하게 하여 높은 정확도를 달성하였다.
• 알고리즘의 계산 비용은 $ N(\log N)^{d-1} $ 스케일링을 보이며, 전체 그리드의 지수적 비용을 피하면서도 차원과 무관하게 대수적 수렴 속도를 유지한다.