[논문 리뷰] Early stopping and non-parametric regression: An optimal data-dependent stopping rule

Garvesh Raskutti, Martin J. Wainwright외 1명|arXiv (Cornell University)|2013. 06. 15.

Numerical methods in inverse problems참고 문헌 36인용 수 181

한 줄 요약

이 논문은 재생 커널 힐버트 공간에서 비모수적 회귀의 경사하강법에 대해, 보류 데이터나 교차검증을 사용하지 않고 데이터에 의존하는 조기 정지 규칙을 제안한다. 누적 단계 크기 기반의 정지 시간을 통해 편향과 분산을 균형 잡음으로써, $L^2(\mathbb{P})$ 및 $L^2(\mathbb{P}_n)$ 노름에서 최소최대 최적 추정 속도를 달성하며, 소볼레프 및 기타 커널 클래스에 대해 이론적 보장을 제공한다.

ABSTRACT

The strategy of early stopping is a regularization technique based on choosing a stopping time for an iterative algorithm. Focusing on non-parametric regression in a reproducing kernel Hilbert space, we analyze the early stopping strategy for a form of gradient-descent applied to the least-squares loss function. We propose a data-dependent stopping rule that does not involve hold-out or cross-validation data, and we prove upper bounds on the squared error of the resulting function estimate, measured in either the $L^2(P)$ and $L^2(P_n)$ norm. These upper bounds lead to minimax-optimal rates for various kernel classes, including Sobolev smoothness classes and other forms of reproducing kernel Hilbert spaces. We show through simulation that our stopping rule compares favorably to two other stopping rules, one based on hold-out data and the other based on Stein's unbiased risk estimate. We also establish a tight connection between our early stopping strategy and the solution path of a kernel ridge regression estimator.

연구 동기 및 목표

• 비모수적 회귀에서 조기 정지를 위한 실용적이고 데이터에 의존하는 정지 규칙이 부족한 문제를 해결하기 위해.
• 보류 데이터나 교차검증을 피하면서도 최적의 통계적 성능을 유지하는 정지 규칙을 개발하기 위해.
• 데이터 기반 정지 기준을 사용하여 반복적 커널 방법에서 편향과 분산의 균형을 이론적으로 정당화하기 위해.
• 조기 정지와 커널 리지 회귀 해법 사이의 밀접한 연결을 설정하기 위해.

제안 방법

• 손실 함수로 최소제곱법을 사용한 재생 커널 힐버트 공간(RKHS)에서의 경사하강법을 사용하며, 단계 크기로 매개변수화된 업데이트를 수행한다.
• 데이터에 의존하는 정지 규칙은 누적 단계 크기의 합이 편향과 분산을 균형 잡는 임계값을 초과하는 첫 번째 시점으로 정의된다.
• 경험 과정 이론과 가우시안 혼합의 농도 부등식을 사용하여 예측 오차에 대한 이론적 경계를 유도한다.
• 정지 시간 $\widehat{T}$ 는 평균 제곱 오차의 편향 및 분산 성분을 모두 통제할 수 있도록 구성된다.
• 커널 연산자의 고유분해를 활용하여 다양한 커널 클래스에 대한 수렴 속도를 분석한다.
• 이론적 분석을 통해 RKHS 내의 기능적 관계를 통해 조기 정지 경로와 커널 리지 회귀의 해 경로 사이의 연결을 수립한다.

실험 결과

연구 질문

• RQ1 보류 데이터나 교차검증 없이 비모수적 회귀에서 최소최대 최적 속도를 달성하는 데이터에 의존하는 정지 규칙을 설계할 수 있는가?
• RQ2 관측된 데이터만을 사용하여 반복적 커널 방법에서 편향-분산 균형을 정량적으로 균형 잡을 수 있는가?
• RQ3 조기 정지의 경로와 RKHS 내 커널 리지 회귀 해법 사이의 이론적 관계는 무엇인가?
• RQ4 소볼레프, 저랭크 등 어떤 커널 클래스에서 제안된 정지 규칙이 최소최대 최적성을 달성하는가?
• RQ5 유한 표본에서 제안된 규칙이 보류 데이터 기반 및 SURE 기반 정지 규칙과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 정지 규칙은 소볼레프 및 기타 커널 클래스에 대해 $L^2(\mathbb{P})$ 및 $L^2(\mathbb{P}_n)$ 노름에서 최소최대 최적 추정 속도를 달성한다.
• 정지 이전의 모든 반복에 대해 제곱 오차에 대한 이론적 상한이 도출되었으며, 정지 이후 오차에 대한 하한이 존재하여 최적의 균형을 보장한다.
• 소볼레프 공간과 저랭크 커널의 경우, 상수 계수의 전후로 최소최대 최적성을 달성하여 경계가 사실상 개선될 수 없다.
• 경쟁 방법과 달리 보류 데이터나 교차검증이 필요 없으며, 계산적으로 효율적이다.
• 시뮬레이션 결과 보류 데이터 기반 및 SURE 기반 정지 규칙과 비교해 유리한 성능을 보이며, 표본 크기가 증가할수록 더욱 두드러진다.
• 조기 정지 경로와 커널 리지 회귀의 해 경로 사이에 밀도 있는 수학적 연결이 확립되었으며, 극한에서의 동치성을 보여준다.