[논문 리뷰] Optimal learning rates for Kernel Conjugate Gradient regression

Gilles Blanchard, Nicole Krämer|arXiv (Cornell University)|2010. 09. 29.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 24

한 줄 요약

이 논문은 조기 정지(regularization)를 통한 커널 공액 그래디언트 회귀에 대해 최적의 학습률을 설정한다. 진짜 회귀 함수가 재생 커널 힐버트 공간(reproducing kernel Hilbert space)에 속해 있을 경우, 최소최대 하한(minimax lower bounds)에 비례하는 수렴 속도를 증명하며, 이는 로그 요소를 제외한 최적 수준이다. 또한 추가로 레이블이 없는 데이터를 사용하여 잘못 지정된 경우의 수렴 속도를 확장하여, 커널 리지 회귀와 최소 제곱 서포트 벡터 머신과 비교해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We prove rates of convergence in the statistical sense for kernel-based least squares regression using a conjugate gradient algorithm, where regularization against overfitting is obtained by early stopping. This method is directly related to Kernel Partial Least Squares, a regression method that combines supervised dimensionality reduction with least squares projection. The rates depend on two key quantities: first, on the regularity of the target regression function and second, on the intrinsic dimensionality of the data mapped into the kernel space. Lower bounds on attainable rates depending on these two quantities were established in earlier literature, and we obtain upper bounds for the considered method that match these lower bounds (up to a log factor) if the true regression function belongs to the reproducing kernel Hilbert space. If this assumption is not fulfilled, we obtain similar convergence rates provided additional unlabeled data are available. The order of the learning rates match state-of-the-art results that were recently obtained for least squares support vector machines and for linear regularization operators.

연구 동기 및 목표

• 커널 공액 그래디언트 회귀의 통계적 수렴 행동을 분석한다.
• 기존 커널 리지 회귀 및 관련 방법에 대해 알려진 최소최대 하한에 맞는 학습률을 설정한다.
• 진짜 회귀 함수가 재생 커널 힐버트 공간에 있지 않은 경우에도 수렴 보장을 확장한다.
• 이 방법이 최소 제곱 서포트 벡터 머신과 선형 정규화 연산자에 비해 최신 기술 수준의 수렴 속도를 달성함을 보여준다.
• 데이터에 의존하는 크릴로프 부분공간에서의 공액 그래디언트 사용에 대한 이론적 근거를 제공한다.

제안 방법

• 방법은 데이터에 의존하는 크릴로프 부분공간 $\mathcal{K}_m(\mathbf{Y}, K_n) = \text{span}\{\mathbf{Y}, K_n\mathbf{Y}, \dots, K_n^{m-1}\mathbf{Y}\}$ 에서 커널 최소 제곱 문제를 해결하기 위해 공액 그래디언트(CG) 반복을 사용한다.
• 정규화는 조기 정지에 의해 이루어지며, CG 반복 수 $m$ 이 모델 선택 파라미터로 작용한다.
• CG 해 $\alpha_m$ 은 커널 행렬의 직접 역행렬 계산을 피하기 위해 $K_n$ 과의 행렬-벡터 곱을 반복적으로 사용하여 계산된다.
• 이론적 분석은 특히 힐버트-슈미트 노름과 고유값 감쇠를 포함한 랜덤 연산자에 대한 분산 부등식과 연산자 부등식에 기반한다.
• 논문은 해가 $\alpha = F_\lambda(K_n)\mathbf{Y}$ 로 표현되는 일반화된 정규화 프레임워크를 사용한다. 여기서 $F_\lambda$ 는 정규화된 역함수이다.
• 잘못 지정된 경우, 추가로 레이블이 없는 데이터를 사용하여 경험적 커널 행렬을 추정함으로써, 더 유연한 가정 하에 수렴 속도를 일치시킬 수 있다.

실험 결과

연구 질문

• RQ1 조기 정지 정규화를 통한 커널 공액 그래디언트 회귀에서 달성 가능한 최적의 학습률은 무엇인가?
• RQ2 이러한 수렴 속도는 이전 문헌에서 유도된 최소최대 하한과 어떻게 비교되는가?
• RQ3 진짜 회귀 함수가 재생 커널 힐버트 공간 $\mathcal{H}$ 에 있지 않은 경우에도 이 방법이 최적의 수렴 속도를 달성할 수 있는가?
• RQ4 커널 공간 내 데이터의 내재 차원성이 수렴 속도 결정에 어떤 역할을 하는가?
• RQ5 잘못 지정된 설정에서 레이블이 없는 데이터의 가용성이 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 진짜 회귀 함수가 재생 커널 힐버트 공간에 있을 경우, 이 논문은 알려진 최소최대 하한에 로그 요소를 제외하고 일치하는 학습률을 설정한다.
• 잘못 지정된 경우, 즉 $f^*$ 가 $\mathcal{H}$ 에 속하지 않을 경우, 추가로 레이블이 없는 데이터가 제공된다면 유사한 수렴 속도를 달성한다.
• 이론적 보장은 랜덤 연산자에 대한 분산 부등식과 거듭제곱 함수에 대한 연산자 노름 부등식의 조합을 통해 유도되었다.
• 분석은 공액 그래디언트 반복에서의 조기 정지가 통계적으로 일관된 정규화 메커니즘으로서 유효하다는 것을 확인한다.
• 유도된 수렴 속도는 두 가지 핵심 요소에 의존한다: 목표 함수의 부드러움(정규성)과 커널에 의해 유도된 특징 공간 내 데이터의 내재 차원성.