[논문 리뷰] Convergence guarantees for kernel-based quadrature rules in misspecified settings

Motonobu Kanagawa, Bharath K. Sriperumbudur외 1명|arXiv (Cornell University)|2016. 05. 24.

Matrix Theory and Algorithms인용 수 9

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 또는 솔로보프 공간 순서보다 낮은 부드러움을 가진 적분 함수에 대해 커널 기반 사다리꼴 적분 규칙의 수렴 보장을 수립한다. 이는 진정한 부드러움이 가정된 것보다 낮을 경우에도 수렴 속도가 알려지지 않은 적분 함수의 부드러움에 적응하여 최적의 속도를 달성함을 증명한다.

ABSTRACT

Kernel-based quadrature rules are becoming important in machine learning and statistics, as they achieve super-$\sqrt{n}$ convergence rates in numerical integration, and thus provide alternatives to Monte Carlo integration in challenging settings where integrands are expensive to evaluate or where integrands are high dimensional. These rules are based on the assumption that the integrand has a certain degree of smoothness, which is expressed as that the integrand belongs to a certain reproducing kernel Hilbert space (RKHS). However, this assumption can be violated in practice (e.g., when the integrand is a black box function), and no general theory has been established for the convergence of kernel quadratures in such misspecified settings. Our contribution is in proving that kernel quadratures can be consistent even when the integrand does not belong to the assumed RKHS, i.e., when the integrand is less smooth than assumed. Specifically, we derive convergence rates that depend on the (unknown) lesser smoothness of the integrand, where the degree of smoothness is expressed via powers of RKHSs or via Sobolev spaces.

연구 동기 및 목표

• 재생 커널 힐버트 공간(RKHS)에서 가정된 것보다 적분 함수가 덜 부드러울 경우 커널 사다리꼴 적분에 대한 이론적 보장이 부족한 문제를 해결한다.
• 가정된 부드러움이 아닌 실제(알 수 없는) 적분 함수의 부드러움에 따라 수렴 속도 보장을 제공한다.
• 부적합한 설정에서 무작위 및 결정적 점 집합에 대해 일致성과 적응형 수렴 속도를 확립한다.
• 적분 함수의 진정한 부드러움을 사전에 알지 못하더라도 최적의 수렴 속도를 달성할 수 있음을 보이며, RKHS와 솔로보프 공간의 성질을 활용한다.

제안 방법

• 적분 함수가 더 낮은 순서의 솔로보프 공간 $W_2^s$에 속해 있다고 가정하며, 여기서 $s \leq r$이고 $r$은 가정된 부드러움 순서이다.
• 적분 함수 $f \notin \mathcal{H}$일지라도 RKHS $\mathcal{H}$에서의 최악의 오차를 사용해 통합 오차를 경계한다.
• 적분 함수의 상대적 부드러움을 표현하기 위해 파라미터 $\theta = s/r$를 도입하여 수렴 속도를 $O(n^{-\theta b + (1/2 - c)(1 - \theta)})$로 표현한다.
• 분리 반경 $q_n \geq Cn^{-b/r}$ 및 유한한 직경에 대한 가정 하에 결정적 수렴 속도 $O(n^{-bs/r})$를 확립한다.
• 격자 규칙과 바흐의 사다리꼴 적분 규칙과 같은 특정 방법에 결과를 적용하여, 코로보프 공간에서 알려지지 않은 부드러움에 대한 적응성을 보여준다.
• 솔로보프 공간과 RKHS 간의 노름 등가성 및 임bedding 정리를 사용해 오차를 적분 함수의 진정한 부드러움과 연결한다.

실험 결과

연구 질문

• RQ1 적분 함수가 가정된 RKHS나 솔로보프 공간보다 덜 부드러울 경우 커널 사다리꼴 적분 규칙은 여전히 일치성 있는가?
• RQ2 진정한 부드러움 $s$가 알려져 있지 않고 $s < r$일 경우, 부적합한 설정에서 보장할 수 있는 수렴 속도는 무엇인가?
• RQ3 적분 함수의 부드러움을 사전에 알지 못하더라도 커널 사다리꼴 적분 방법이 최적의 속도를 적응적으로 달성할 수 있는가?
• RQ4 가중치 $w_i$ 또는 분리 반경 $q_n$에 대한 가정이 부적합한 설정에서 수렴에 어떤 영향을 미치는가?
• RQ5 격자 규칙과 바흐의 사다리꼴 적분 규칙과 같은 기존 방법들은 적분 함수가 가정된 것보다 덜 부드러울 경우에도 최적의 수렴 속도를 유지하는가?

주요 결과

• 적분 함수가 가정된 RKHS에 속하지 않더라도 커널 사다리꼴 적분 규칙은 일치성이 있으며, 수렴 속도는 $O(n^{-\theta b + (1/2 - c)(1 - \theta)})$이다. 여기서 $\theta = s/r$는 상대적 부드러움이다.
• 무작위 점 집합에서 $c = 1/2$일 경우 수렴 속도는 $O(n^{-sb/r})$로 줄어들며, $b = r/d$이면 $W_2^s$에서 최적의 속도 $O(n^{-s/d})$와 일치한다.
• $O(n^{-bs/r})$의 수렴 속도는 분리 반경 조건 $q_n \geq Cn^{-b/r}$ 하에서 달성되며, 이는 밀도가 일정한 영역에서 균일하게 배치된 격자에서 성립한다.
• 진정한 부드러움 $s$를 알지 못하더라도 $s \leq r$라는 정보만 안다면 $W_2^s$에서 최적의 수렴 속도를 달성할 수 있음을 보여주며, 이는 알려지지 않은 부드러움에 대한 적응성을 입증한다.
• 이 이론은 무작위 및 결정적 사다리꼴 적분 규칙 모두에 적용되며, 격자 규칙과 바흐의 사다리꼴 적분 규칙을 포함하여 실용적인 부적합한 설정에서도 강건함을 보장한다.
• 수렴 보장은 $s \leq r$를 만족하는 $C_0^s \cap W_2^s$에 속하는 적분 함수에 대해 유효하며, 가정된 RKHS 부드러움보다 낮은 다양한 수준의 부드러움을 포함한다.