[논문 리뷰] Adaptivity for Regularized Kernel Methods by Lepskii's Principle

Nicole Mücke|arXiv (Cornell University)|2018. 01. 01.

Numerical methods in inverse problems참고 문헌 15인용 수 1

한 줄 요약

이 논문은 Lepskii의 원리를 사용하여 커널 리지 회귀에 대한 데이터 기반, 완전히 적응적인 정규화 파rameter 선택 방법을 제안한다. 효과적 차원의 경험적 추정을 통해 근사 오차와 표본 오차를 균형 잡음으로써, 알려지지 않은 부드러움과 공분산 구조에 대해 최소 최대 최적의 적응성을 달성하며, L²(ν)에서 균형을 이루는 경우 모든 더 강한 노름—특히 RKHS—에서 최적의 오차 한계를 확보한다.

ABSTRACT

We address the problem of {\it adaptivity} in the framework of reproducing kernel Hilbert space (RKHS) regression. More precisely, we analyze estimators arising from a linear regularization scheme $g_\lam$. In practical applications, an important task is to choose the regularization parameter $\lam$ appropriately, i.e. based only on the given data and independently on unknown structural assumptions on the regression function. An attractive approach avoiding data-splitting is the {\it Lepskii Principle} (LP), also known as the {\it Balancing Principle} is this setting. We show that a modified parameter choice based on (LP) is minimax optimal adaptive, up to $\log\log(n)$. A convenient result is the fact that balancing in $L^2(ν)-$ norm, which is easiest, automatically gives optimal balancing in all stronger norms, interpolating between $L^2(ν)$ and the RKHS. An analogous result is open for other classical approaches to data dependent choices of the regularization parameter, e.g. for Hold-Out.

연구 동기 및 목표

• 알려지지 않은 구조적 특성(예: 부드러움, 내재 차원)이 있는 커널 리지 회귀에서 최적의 정규화 파rameter 선택 문제를 해결한다.
• 데이터 분할을 피하는, 완전히 데이터 기반의 정규화 파rameter 선택 방법을 개발한다. 이는 교차 검증이나 홀드아웃 방법과는 다름.
• 재생 커널 힐버트 공간(RKHS)에서 알려지지 않은 부드러움과 알려지지 않은 공분산 구조에 대해 최소 최대 최적의 적응성을 달성한다.
• L²(ν) 노름에서 균형을 이루는 것이 자동으로 더 강한 노름, 특히 RKHS 노름에서 최적의 균형을 이끌어내는지 확인한다. 이는 고전적 데이터 의존 방법에서는 보장되지 않는다.
• 일반적인 소스 조건과 효과적 차원의 가정 하에 결과 추정량의 수렴 속도에 대한 이론적 보장을 제공한다.

제안 방법

• 측정 가능한 양의 정부호 준정의 커널 K를 가진 재생 커널 힐버트 공간(RKHS)에서 정규화 문제를 수립한다.
• 정규화 파rameter λ를 가진 스펙트럴 정규화 방법(예: Tikhonov, Landweber)을 사용하며, 추정량 gλ는 정규화된 경험적 리스크를 최소화한다.
• Lepskii의 원리(균형 원리)를 적용하여, 다양한 λ 값에서의 추정량을 비교함으로써 경험적 효과적 차원 N(λ)의 추정치를 사용해 λ를 적응적으로 선택한다.
• 효과적 차원 N(λ)의 경험적 근사치 N̂(λ)을 도입하고, i.i.d. 표본 추출 하에서 N(λ)에 대한 이중 측면 농도 경계를 확립한다.
• 경험적 효과적 차원을 사용하여 근사 오차 Ã(λ)와 표본 오차 S̃(n,λ)의 상한을 균형 잡는 방식으로 데이터 기반 파rameter 선택 ˆλn,γ(z)를 정의한다.
• 일반적인 소스 조건과 효과적 차원의 거듭제곱 감쇠 가정 하에서, 결과 추정량  fˆλn,γ(z)가 RKHS 노름에서 최소 최대 최적 수렴 속도를 달성함을 증명한다. 다만 log log(n) 요소가 추가로 포함된다.

실험 결과

연구 질문

• RQ1 커널 리지 회귀에 대해 알려지지 않은 부드러움과 공분산 구조에 대해 적응 가능한 완전히 데이터 기반의 정규화 파rameter 선택 방법을 구성할 수 있는가?
• RQ2 Lepskii의 원리를 사용해 L²(ν) 노름에서 균형을 이루는 것이 자동으로 더 강한 노름, 예를 들어 RKHS 노름에서 최적의 균형을 이끌어내는가?
• RQ3 데이터로부터 효과적 차원을 신뢰성 있게 추정할 수 있는가? 이를 통해 데이터 분할 없이 데이터 기반 파rameter 선택이 가능해지는가?
• RQ4 일반적인 소스 조건과 효과적 차원의 거듭제곱 감쇠 가정 하에서 결과 추정량의 이론적 수렴 속도는 어떠한가?
• RQ5 고전적 데이터 의존 방법(예: 홀드아웃 또는 교차 검증)과 비교해 본다면, 제안된 방법은 적응성과 최적성 면에서 어떻게 다른가?

주요 결과

• Lepskii의 원리를 기반으로 한 제안된 데이터 기반 파rameter 선택은 알려지지 않은 부드러움과 알려지지 않은 공분산 구조에 대해 RKHS 회귀에서 최소 최대 최적의 적응성을 달성한다.
• L²(ν) 노름에서만 균형을 이루는 것으로도 RKHS 노름에서 최적의 균형을 확보한다. 이는 고전적 데이터 의존 방법에서는 알려지지 않은 결과이다.
• 결과 추정량은 RKHS 노름에서 λs+r_n,(γ,θ)의 순서로 수렴 속도를 확보하며, 이는 최소 최대 최적 수렴 속도를 log log(n) 요소를 제외하고 일치시킨다.
• 효과적 차원 N(λ)는 그 경험적 대체치 N̂(λ)를 통해 엄밀히 통제되며, i.i.d. 표본 추출 하에서 이중 측면 농도 경계가 확립된다.
• 교차 검증이나 홀드아웃과 달리 데이터 분할을 피하며, 소스 조건 파ram터(r, b)의 사전 지식이 필요 없이 최적의 적응성을 달성한다.
• 일반적인 가정 하에서 이론적 보장을 확립한다: 효과적 차원의 거듭제곱 감쇠, 유계 커널, 그리고 서브가우시안 노이즈이며, 신뢰 수준 η에 대한 명시적 의존성을 포함한다.