[논문 리뷰] Non-asymptotic Analysis in Kernel Ridge Regression.

Zejian Liu, Meng Li|arXiv (Cornell University)|2020. 06. 02.

Statistical Methods and Inference참고 문헌 35인용 수 5

한 줄 요약

이 논문은 다차원 지지 집합을 가진 임의의 머서 커널에 대해 초등적 분석을 수행하는 연산자 이론적 프레임워크를 사용하여 커널 리지 회귀의 비점근적 분석을 제시한다. 이는 초등적 및 가중 $L_2$ 노름에 대한 오차 한계를 유도하며, 마틴 커널에 대해 거의 최소 최대 최적의 학습 속도를 확립하고, 혼합 편도함수와 가우시안 프로세스 사후 분산에 대한 새로운 비점근적 결과를 제공한다.

ABSTRACT

We develop a general non-asymptotic analysis of learning rates in kernel ridge regression (KRR), applicable for arbitrary Mercer kernels with multi-dimensional support. Our analysis is based on an operator-theoretic framework, at the core of which lies two error bounds under reproducing kernel Hilbert space norms encompassing a general class of kernels and regression functions, with remarkable extensibility to various inferential goals through augmenting results. When applied to KRR estimators, our analysis leads to error bounds under the stronger supremum norm, in addition to the commonly studied weighted $L_2$ norm; in a concrete example specialized to the Matern kernel, the established bounds recover the nearly minimax optimal rates. The wide applicability of our analysis is further demonstrated through two new theoretical results: (1) non-asymptotic learning rates for mixed partial derivatives of KRR estimators, and (2) a non-asymptotic characterization of the posterior variances of Gaussian processes, which corresponds to uncertainty quantification in kernel methods and nonparametric Bayes.

연구 동기 및 목표

• 다차원 지지 집합을 가진 임의의 머서 커널에 적용 가능한 일반적인 비점근적 오차 분석을 개발하는 것.
• 표준 $L_2$ 노름을 넘어서 더 강력한 초등적 노름으로 오차 한계를 확장하여 수렴 특성의 개선.
• 비모수 회귀에서 핵심 기준이 되는 마틴 커널에 대해 거의 최소 최대 최적의 학습 속도를 확립하는 것.
• KRR 추정자에 대한 혼합 편도함수의 비점근적 학습 속도를 유도하여 신뢰도를 갖춘 도함수 추정을 가능하게 하는 것.
• 가우시안 프로세스의 사후 분산에 대한 비점근적 특성화를 제공하여 커널 방법에서의 불확실성 정량화를 지원하는 것.

제안 방법

• 커널 적분 연산자와 그 스펙트럼 성질을 모델링하는 연산자 이론적 프레임워크에 기반한 분석.
• 재생 커널 힐베르트 공간 노름에 대해 일반적인 두 개의 오차 한계를 도출하여 광범위한 커널 및 회귀 함수 클래스에 적용 가능.
• 스펙트럼 분해와 정규화를 활용하여 KRR에서 편향과 분산의 상호 보완적 균형을 제어.
• 노름 등가성과 연산자 노름 부등식을 활용하여 RKHS 노름에서 초등적 노름으로의 전환.
• 커널 도함수를 통한 KRR 추정자의 부드러움 성질을 분석하여 혼합 편도함수로의 확장.
• 사후 분산의 경우, 가우시안 프로세스 회귀에서 공분산 연산자의 비점근적 행동을 특성화하는 접근 방식.

실험 결과

연구 질문

• RQ1 일반 머서 커널에 대해 초등적 노름 기반 커널 리지 회귀의 비점근적 학습 속도는 무엇인가?
• RQ2 유도된 오차 한계는 특히 마틴 커널의 경우 최소 최대 최적 속도와 어떻게 비교되는가?
• RQ3 KRR 추정자에 대한 혼합 편도함수의 비점근적 학습 속도를 확보할 수 있는가?
• RQ4 커널 방법 하에서 가우시안 프로세스의 사후 분산의 비점근적 행동은 무엇인가?
• RQ5 연산자 이론적 프레임워크는 평균 예측을 초월한 다양한 추론 목표를 지원하기 위해 어떻게 확장될 수 있는가?

주요 결과

• 논문은 초등적 노름 기반 비점근적 오차 한계를 확립하였으며, 이는 표준 $L_2$ 기반 한계보다 더 강력하다.
• 마틴 커널의 경우 유도된 학습 속도는 거의 최소 최대 최적이라서 이론적 날카로움을 확인한다.
• KRR 추정자에 대한 혼합 편도함수의 비점근적 학습 속도가 도출되었으며, 이는 도함수 추정의 신뢰도 정량화를 가능하게 한다.
• 가우시안 프로세스의 사후 분산에 대한 비점근적 특성화가 제공되었으며, 엄밀한 불확실성 정량화를 지원한다.
• 연산자 이론적 프레임워크는 도함수 추정 및 사후 분산 분석를 포함한 다양한 추론 작업으로의 확장 가능성을 제공한다.