[논문 리뷰] On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression Estimators

Zejian Liu, Meng Li|arXiv (Cornell University)|2020. 06. 02.

Machine Learning and Algorithms참고 문헌 64인용 수 7

한 줄 요약

이 논문은 다차원 랜덤 설계 설정에서 임의의 순서의 혼합 편미분을 비모수적으로 추정하기 위한 플러그인 커널 리지 회귀(KRR) 추정기의 제안한다. 강한 L∞ 노름 하에서 점근적이지 않은 오차 경계를 확립하고, 동일한 조정 파rameter를 사용하여 허더 및 소볼레프 클래스에서 거의 최소 최대 최적의 수렴 속도를 달성함으로써 자동 적응과 단순화된 조정을 가능하게 한다.

ABSTRACT

We study the problem of estimating the derivatives of a regression function, which has a wide range of applications as a key nonparametric functional of unknown functions. Standard analysis may be tailored to specific derivative orders, and parameter tuning remains a daunting challenge particularly for high-order derivatives. In this article, we propose a simple plug-in kernel ridge regression (KRR) estimator in nonparametric regression with random design that is broadly applicable for multi-dimensional support and arbitrary mixed-partial derivatives. We provide a non-asymptotic analysis to study the behavior of the proposed estimator in a unified manner that encompasses the regression function and its derivatives, leading to two error bounds for a general class of kernels under the strong $L_\infty$ norm. In a concrete example specialized to kernels with polynomially decaying eigenvalues, the proposed estimator recovers the minimax optimal rate up to a logarithmic factor for estimating derivatives of functions in Hölder and Sobolev classes. Interestingly, the proposed estimator achieves the optimal rate of convergence with the same choice of tuning parameter for any order of derivatives. Hence, the proposed estimator enjoys a extit{plug-in property} for derivatives in that it automatically adapts to the order of derivatives to be estimated, enabling easy tuning in practice. Our simulation studies show favorable finite sample performance of the proposed method relative to several existing methods and corroborate the theoretical findings on its minimax optimality.

연구 동기 및 목표

• 다차원 랜덤 설계에서 임의의 순서의 혼합 편미분을 추정하기 위한 통합 프레임워크를 개발한다.
• 기존 방법에서 일반적으로 어려운 다양한 편미분 순서 간의 조정 파ram터 선택 문제를 해결한다.
• 커널 리지 회귀를 사용한 편미분 추정에 대해 점근적이지 않은 이론적 보장을 제공한다.
• 동일한 조정 파aram터가 모든 편미분 순서에서 최적의 수렴 속도를 달성함으로써 플러그인 행동이 가능하다는 것을 보여준다.

제안 방법

• 편미분을 직접 추정하기 위해 KRR 해를 미분하는 플러그인 KRR 추정기를 제안하며, 반복적 또는 순서별로 조정하는 것을 피한다.
• 일반적인 커널 클래스에 대해 강한 L∞ 노름 하에서 오차 경계를 유도하기 위해 점근적이지 않은 분석 프레임워크를 사용한다.
• 허더 및 소볼레프 클래스의 회귀 함수 맥락에서 임의의 순서의 혼합 편미분에 대한 수렴 속도를 유도한다.
• 다항식적으로 감쇠하는 고유값 커널에 대해 추정기가 거의 최소 최대 최적의 수렴 속도를 달성함을 확립한다.
• 동일한 조정 파aram터 선택이 모든 편미분 순서에서 최적의 수렴 속도를 제공함을 보여주며, 플러그인 조정이 가능하다.
• 노름 부등식과 고유값 감쇠 가정(예: µi ≍ i−2α)을 활용하여 편향과 분산 성분을 근사한다.

실험 결과

연구 질문

• RQ1 재조정 없이 모든 편미분 순서에서 최적의 수렴 속도를 달성할 수 있는 단일 커널 리지 회귀 추정기가 존재하는가?
• RQ2 강한 L∞ 노름 하에서 KRR 기반 편미분 추정기의 점근적이지 않은 오차 행동은 어떠한가?
• RQ3 유한 표본 성능과 조정 복잡성 측면에서 기존 방법과 비교해 볼 때 제안된 추정기는 어떠한가?
• RQ4 허더 및 소볼레프 클래스에서 다양한 편미분 순서 간에 동일한 조정 파aram터가 최소 최대 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 커널의 고유값 감쇠와 결과적으로 발생하는 편미분 추정 오차 사이의 이론적 관계는 어떠한가?

주요 결과

• 제안된 플러그인 KRR 추정기는 강한 L∞ 노름 하에서 허더 및 소볼레프 클래스의 편미분에 대해 거의 최소 최대 최적의 수렴 속도를 달성한다.
• 동일한 조정 파aram터 선택이 모든 편미분 순서에서 최적의 수렴 속도를 제공함으로써 실용적 구현을 단순화하는 플러그인 성질을 입증한다.
• 최적의 조정 파aram터는 λ ≍ (log n / n)^(2α/(2α+1))이며, 조건 ˜κ²α,λ = o(√(n/log n))를 충족한다.
• 편향 항은 λ^(1/2 - m/(2α)) 만큼 감쇠하고, 분산 항은 λ^(-2m+1)/(4α) × √(log n / n) 만큼 감쇠하며, 최적의 λ에서 합이 최소가 된다.
• 시뮬레이션 결과는 로컬 다항식 및 스무딩 스퍼린 추정기와 비교해 유리한 유한 표본 성능을 보였다.
• 대체로 매트른 커널이 가장 낮은 중앙값 RMSE를 기록했으며, 제안된 KRR 추정기는 모든 편미분 순서에서 경쟁적인 성능을 보였다.