[논문 리뷰] Convergence Analysis of Deterministic Kernel-Based Quadrature Rules in Misspecified Settings

Motonobu Kanagawa, Bharath K. Sriperumbudur외 1명|arXiv (Cornell University)|2017. 09. 01.

Mathematical Approximation and Integration참고 문헌 44인용 수 5

한 줄 요약

이 논문은 적합하지 않은 설정에서, 즉 적분 함수가 근사화된 Sobolev RKHS보다 덜 매끄럽지만, 그에 기반한 결정론적 커널 기반 적분 규칙의 수렴 분석을 제공한다. 두 조건 하에서 수렴 속도를 확립한다: 가중치의 총변동이 유계이거나, 설계 점 간 최소 거리의 감쇠 속도가 느리며, 설계 점이 분리 조건을 만족할 경우 베이지안 적분법이 미세한 정규성 조건 하에서 최적의 속도를 적응적으로 달성할 수 있음을 보여준다.

ABSTRACT

This paper presents a convergence analysis of kernel-based quadrature rules in misspecified settings, focusing on deterministic quadrature in Sobolev spaces. In particular, we deal with misspecified settings where a test integrand is less smooth than a Sobolev RKHS based on which a quadrature rule is constructed. We provide convergence guarantees based on two different assumptions on a quadrature rule: one on quadrature weights, and the other on design points. More precisely, we show that convergence rates can be derived (i) if the sum of absolute weights remains constant (or does not increase quickly), or (ii) if the minimum distance between design points does not decrease very quickly. As a consequence of the latter result, we derive a rate of convergence for Bayesian quadrature in misspecified settings. We reveal a condition on design points to make Bayesian quadrature robust to misspecification, and show that, under this condition, it may adaptively achieve the optimal rate of convergence in the Sobolev space of a lesser order (i.e., of the unknown smoothness of a test integrand), under a slightly stronger regularity condition on the integrand.

연구 동기 및 목표

• 진짜 적분 함수가 가정된 Sobolev RKHS보다 덜 매끄러울 때 결정론적 커널 기반 적분 규칙의 수렴을 분석하는 것.
• 모델 적합성 결함이 있을 경우에도 적분 규칙이 일관성을 유지할 수 있는 조건을 규명하는 것.
• 적합하지 않은 설정에서의 베이지안 적분법에 대한 수렴 속도를 확립하는 것.
• 베이지안 적분법이 모델 적합성 결함에 강건하고 알려지지 않은 적분 함수의 매끄러움에 적응적으로 작동하도록 하는 설계 점 조건을 도출하는 것.

제안 방법

• 가중치의 총변동이 유계이거나 설계 점 간 최소 거리의 감쇠 속도가 느린 두 가지 다른 가정 하에서, Sobolev 공간 내 수렴을 분석한다.
• 재생 커널 힐버트 공간(RKHS)에서 최악의 오차 한계를 사용하여 수렴 속도를 도출한다.
• 부드럽고 컴 pact하게 지지된 커널의 성질과 푸리에 분석을 적용하여 근사화된 함수의 정규성을 특성화한다.
• 원 함수의 노름과 스케일링 파라미터를 바탕으로 근사 함수의 소볼레프 노름에 대한 경계를 유도한다.
• L2 공간에서 푸리에 변환의 등장성 성질을 활용하여 근사가 L2 의미에서 수렴함을 보여준다.
• 설계 점이 분리 조건을 만족할 경우, 베이지안 적분법이 낮은 순서의 소볼레프 공간에서 최적의 수렴 속도를 달성함을 확립한다.

실험 결과

연구 질문

• RQ1 적분 함수가 가정된 RKHS보다 덜 매끄러울 때, 커널 기반 적분 규칙이 수렴하는 조건은 무엇인가?
• RQ2 가중치의 총변동이 유계일 경우, 결정론적 커널 적분의 수렴 속도를 도출할 수 있는가?
• RQ3 설계 점 간 최소 거리가 적합하지 않은 설정에서 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 적분 함수의 매끄러움에 대한 모델 적합성 결함에 대해 베이지안 적분법을 어떻게 강건하게 만들 수 있는가?
• RQ5 진짜 적분 함수의 매끄러움이 알려지지 않았을 때, 베이지안 적분법이 최적의 수렴 속도를 적응적으로 달성할 수 있는가?

주요 결과

• 절대 가중치 합이 유계거나 느리게 증가할 경우, 수렴 속도가 확립된다.
• 설계 점 간 최소 거리가 너무 빨리 감쇠하지 않으면, 적합성 결함이 있을 경우에도 수렴이 보장된다.
• 베이지안 적분법이 적합성 결함에 강건함을 보장하는 설계 점에 대한 조건이 규명되었다.
• 이 조건 하에서, 베이지안 적분법은 알려지지 않은 적분 함수의 매끄러움 순서와 같은 소볼레프 공간에서 최적의 수렴 속도를 적응적으로 달성할 수 있다.
• 이 조건 하에서, 베이지안 적분법의 수렴 속도는 원 함수의 정규성 조건이 略로 강화된 경우, 낮은 순서의 소볼레프 공간에서 최적 속도와 일치한다.
• 분석 결과, 소볼레프 노름에서의 근사 오차는 원 함수의 노름과 커널의 지지 집합과 관련된 스케일링 파라미터에 의해 제어됨을 밝혀냈다.