[논문 리뷰] Convergence rates of Kernel Conjugate Gradient for random design regression

Gilles Blanchard, Nicole Krämer|arXiv (Cornell University)|2016. 07. 08.

Numerical methods in inverse problems참고 문헌 17인용 수 32

한 줄 요약

이 논문은 랜덤 설계 설정에서 조기 정지가 적용된 커널 공액 그래디언트(CG) 회귀에 대해 최적 수렴 속도를 확립한다. 커널 공간 내 함수의 부드러움(소스 조건을 통해 측정)과 데이터 차원성 간의 상호작용을 분석함으로써, 진짜 회귀 함수가 재생 커널 힐버트 공간(RKHS)에 속해 있을 경우, CG와 조기 정지를 통해 L² 및 힐베르트 노름에서 최소최대 최적 수렴 속도를 달성함을 증명한다. 그렇지 않은 경우에도 추가적인 레이블이 없는 데이터가 제공된다면 유사한 수렴 속도를 달성한다.

ABSTRACT

We prove statistical rates of convergence for kernel-based least squares regression from i.i.d. data using a conjugate gradient algorithm, where regularization against overfitting is obtained by early stopping. This method is related to Kernel Partial Least Squares, a regression method that combines supervised dimensionality reduction with least squares projection. Following the setting introduced in earlier related literature, we study so-called "fast convergence rates" depending on the regularity of the target regression function (measured by a source condition in terms of the kernel integral operator) and on the effective dimensionality of the data mapped into the kernel space. We obtain upper bounds, essentially matching known minimax lower bounds, for the $\\mathcal{L}^2$ (prediction) norm as well as for the stronger Hilbert norm, if the true regression function belongs to the reproducing kernel Hilbert space. If the latter assumption is not fulfilled, we obtain similar convergence rates for appropriate norms, provided additional unlabeled data are available.

연구 동기 및 목표

• 커널 기반 최소제곱 회귀에 대해 공액 그래디언트(CG)와 조기 정지를 사용하여 통계적 수렴 속도를 확립한다.
• 함수의 부드러움(소스 조건으로 측정)과 효과적 차원성의 영향을 수렴 속도에 분석한다.
• 기존 최소최대 하한선과 일치하는 L²(ν) 및 힐베르트 노름에서의 추정 오차 상한을 유도한다.
• 진짜 회귀 함수가 RKHS에 속해 있지 않은 경우를 고려하여, 추가적인 레이블이 없는 데이터를 사용해 결과를 확장한다.

제안 방법

• 커널 리지 회귀 시스템을 반복적으로 풀기 위해 공액 그래디언트(CG)를 사용하며, 커널 행렬과 반응 벡터에 의해 생성된 크릴로프 부분공간에 해를 제한한다.
• 과적합을 방지하기 위해 조기 정지를 정규화 방법으로 활용하며, 잔차 노름에 대한 임계값에 기반한 정지 기준을 적용한다.
• 다항식 근사 이론을 통해 수렴성을 분석하고, 오차 전파를 제어하기 위해 CG 다항식의 0에서의 도함수를 경계한다.
• 두 단계 오차 분해를 적용: 초기 반복에 대한 하나와 최종 정지 시간에 대한 하나로, 다항식의 행동에 대한 경계를 사용한다.
• 잔차 노름이 예상 노이즈 수준과 커널 조건수에 비례하는 임계값 이하로 유지되도록 보장하는 정지 기준을 적용한다.
• 해의 오차를 크릴로프 공간 내 다항식에 의한 진짜 함수의 근사 오차와 연결함으로써, L²(ν) 및 힐베르트 노름에서의 오차 경계를 도출한다.

실험 결과

연구 질문

• RQ1 랜덤 설계 회귀에서 조기 정지가 적용된 커널 공액 그래디언트는 어떤 수렴 속도를 달성할 수 있는가?
• RQ2 수렴 속도는 커널 공간 내 데이터의 효과적 차원성과 진짜 회귀 함수의 부드러움에 따라 어떻게 달라지는가?
• RQ3 진짜 함수가 재생 커널 힐베르트 공간(RKHS)에 속해 있을 경우, 이 방법이 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ4 진짜 함수가 RKHS에 속해 있지 않을 경우 수렴 속도는 어떻게 되며, 레이블이 없는 데이터로 최적 수렴 속도를 복원할 수 있는가?
• RQ5 정지 시간의 선택은 커널 행렬의 스펙트럼 성질에 따라 추정 오차에 어떻게 영향을 미치는가?

주요 결과

• 소스 조건 하에서 알려진 최소최대 하한선과 일치하는 L²(ν) 노름에서의 수렴 속도를 달성한다.
• RKHS에 속한 함수의 경우, 힐베르트 노름에서의 수렴 속도 역시 최소최대 최적이다. 이 속도는 부드러움 파라미터 r과 커널 고유값 감쇠에 따라 달라진다.
• 진짜 함수가 RKHS에 속해 있지 않은 경우에도, 추가적인 레이블이 없는 데이터가 제공된다면 적절한 노름에서 유사한 수렴 속도를 달성한다.
• 오차 경계는 O(κ^(-θ) λ_*(r−θ))로 스케일되며, λ_* ~ (D/√n)^{2r/(2r+s)}로 표현되어 표본 크기 n, 부드러움 r, 커널 조건수 κ에 의존함을 보여준다.
• 정지 기준은 잔차 노름이 δ(λ_*)와 ρ/M에 비례하는 임계값 이하로 유지되도록 보장하여 과적합을 제어하고 최적 수렴 속도를 가능하게 한다.
• 분석을 통해 CG 다항식의 0에서의 도함수가 O(λ_*^(-1))로 경계됨을 증명하였으며, 이는 반복적 방법에서 오차 전파를 제어하는 데 핵심적이다.