[논문 리뷰] A Bayes-Sard Cubature Method

Toni Karvonen, Chris J. Oates외 1명|arXiv (Cornell University)|2018. 04. 09.

Probabilistic and Robust Engineering Design참고 문헌 45인용 수 4

한 줄 요약

이 논문은 사용자가 지정한 기저 함수의 정확한 통합을 가우스 프로세스 모델 내에 통합함으로써 베이지안 통합과 고전적 통합 규칙을 결합하는 확률적 수치 방법인 Bayes-Sard 통합을 소개한다. 이 방법은 고차원 금융 적분 문제에서 표준 베이지안 통합보다 오차를 약 두 계단 낮추는 데 성공하였으며, 동시에 회귀 계수에 대한 한계가 없는 비정보성 사전 분포를 통해 커널 파라미터의 잘못된 설정에 대해서도 강건성을 유지한다.

ABSTRACT

This paper focusses on the formulation of numerical integration as an inferential task. To date, research effort has largely focussed on the development of Bayesian cubature, whose distributional output provides uncertainty quantification for the integral. However, the point estimators associated to Bayesian cubature can be inaccurate and acutely sensitive to the prior when the domain is high-dimensional. To address these drawbacks we introduce Bayes-Sard cubature, a probabilistic framework that combines the flexibility of Bayesian cubature with the robustness of classical cubatures which are well-established. This is achieved by considering a Gaussian process model for the integrand whose mean is a parametric regression model, with an improper flat prior on each regression coefficient. The features in the regression model consist of test functions which are guaranteed to be exactly integrated, with remaining degrees of freedom afforded to the non-parametric part. The asymptotic convergence of the Bayes-Sard cubature method is established and the theoretical results are numerically verified. In particular, we report two orders of magnitude reduction in error compared to Bayesian cubature in the context of a high-dimensional financial integral.

연구 동기 및 목표

• 고차원 설정에서 베이지안 통합의 점 추정기의 불안정성과 부정확성을 해결하기 위해.
• 고전적 통합 규칙의 강건성과 베이지안 통합의 불확실성 측정 기능을 통합하기 위해.
• 사전에 지정된 기저 함수의 정확한 통합을 보장하는 일관된 가우스 프로세스 프레임워크를 개발하기 위해.
• 이론적 수렴 성질을 확립하고 고차원 적분 문제에서 성능을 검증하기 위해.
• Bayes-Sard 통합이 기저 함수의 수가 노드 수와 일치할 경우, 어떤 통합 규칙이라도 확률적 출력을 부여할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 사용자가 지정한 기저 함수에 대한 매개수 회귀 모델로 정의된 평균 함수를 갖는 가우스 프로세스로 피적합 함수를 모델링한다.
• 비정보성 사전 분포인 평탄한 사전 분포를 회귀 계수에 적용하여 비정보성의 강건한 추정을 보장한다.
• 기저 함수는 결과 통합 규칙에 의해 정확히 통합될 수 있도록 선택된다.
• 이 방법은 커널 구조 $k_{\sigma}(x,x') = k(x,x') + \sigma^2 k_\pi(x,x')$를 활용하고, $\sigma \to \infty$ 극한을 취함으로써 매개수 성분을 강조한다.
• 결과적으로 얻어진 가중치는 RKHS 내 최악의 오차를 최소화하는 제약 최적화 문제의 해로서 유도된다. 이는 기저 함수에 대한 정확성 조건을 포함한다.
• 이 방법은 커널 기반 통합의 계산 효율성을 그대로 유지하면서 통합 값에 대한 전체 사후 분포를 제공한다.

실험 결과

연구 질문

• RQ1 베이지안 통합의 불확실성 측정 기능과 고전적 통합 규칙의 강건성의 조합을 고려한 확률적 통합 방법을 구성할 수 있는가?
• RQ2 정확히 통합 가능한 기저 함수의 포함이 결과 통합 규칙의 수렴성과 정확성에 어떤 영향을 미치는가?
• RQ3 커널 분산이 매우 큰 극한에서 이 방법의 이론적 행동은 어떻게 되며, 고전적 통합 규칙과의 관계는 무엇인가?
• RQ4 표준 베이지안 통합에 비해 고차원 문제에서 이 방법이 뛰어난 정확성과 강건성을 달성할 수 있는가?
• RQ5 Bayes-Sard 통합 방법이 어떤 조건에서 기존의 통합 규칙을 복원하거나 일반화할 수 있는가?

주요 결과

• Bayes-Sard 통합 방법은 고차원 금융 적분 문제에서 표준 베이지안 통합에 비해 수치 통합 오차를 약 두 계단 낮춘다.
• 이 방법은 커널 파라미터가 잘못 설정된 경우에도 강건성을 보이며, 파라미터 불확실성 하에서 베이지안 통합을 능가한다.
• 이론적 분석은 기저 함수와 설계 점에 대한 온건한 조건 하에서 이 방법의 점근적 수렴성을 확인한다.
• 기저 함수의 수가 통합 노드의 수와 일치할 경우, 이 방법은 어떤 통합 규칙이라도 확률적 출력을 부여할 수 있다.
• $\sigma \to \infty$ 근처에서의 이론적 행동은 기저 함수를 정확히 통합하는 최악의 경우 최적의 통합 규칙과 대응한다.
• Bayes-Sard 규칙의 가중치는 기저 함수에 대한 정확성 조건을 만족시키면서 RKHS 오차를 최소화하는 제약 최적화 문제의 해와 동일하다.