[논문 리뷰] Early Stopping for Nonparametric Testing

Meimei Liu, Guang Cheng|arXiv (Cornell University)|2018. 05. 25.

Statistical Methods and Inference참고 문헌 14인용 수 3

한 줄 요약

이 논문은 재생 커널 힐버트 공간에서 기능적 그래디언트 디센트를 사용하여 비모수적 검정에 대한 날카운 조기 정지 규칙을 수립한다. 검정 최적성은 반복 횟수가 최적 순서에 도달할 때에만 달성됨을 보이며, 반복 추정치 기반의 월드 유형 검정 통계량을 제안하고 다항 및 지수 커널 클래스에서 최소최대 최적성을 증명한다.

ABSTRACT

Early stopping of iterative algorithms is an algorithmic regularization method to avoid over-fitting in estimation and classification. In this paper, we show that early stopping can also be applied to obtain the minimax optimal testing in a general non-parametric setup. Specifically, a Wald-type test statistic is obtained based on an iterated estimate produced by functional gradient descent algorithms in a reproducing kernel Hilbert space. A notable contribution is to establish a "sharp" stopping rule: when the number of iterations achieves an optimal order, testing optimality is achievable; otherwise, testing optimality becomes impossible. As a by-product, a similar sharpness result is also derived for minimax optimal estimation under early stopping studied in [11] and [19]. All obtained results hold for various kernel classes, including Sobolev smoothness classes and Gaussian kernel classes.

연구 동기 및 목표

• 오버피팅을 방지하면서도 최소최대 최적성을 유지하는 이론적으로 타당한 비모수적 검정을 위한 조기 정지 규칙을 개발한다.
• 특히 교차검증이 열등한 경우가 많은 비모수 모델에서 최적 검정을 위한 이론적으로 타당한 튜닝 절차의 부재를 해결한다.
• 기존의 추정의 편향-분산 트레이드오프와는 다름없이, 검정 성능에서의 편향과 분산 간의 상호작용을 규명한다.
• 검정 최적성이 정확히 최적 반복 순서에 도달했을 때만 달성되는 '날카운' 정지 규칙을 수립한다.
• 기존의 [11] 및 [19]에서 제안한 조기 정지 규칙이 추정에 대해서도 최적임을 보여주며, 최소최대 최적 추정으로의 날카운 결과 확장

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 기능적 그래디언트 디센트를 사용하여 회귀 함수를 반복적으로 추정한다.
• t번째 반복값 $ f_t $ 기반으로 월드 유형 검정 통계량 $ D_{n,t} $를 구성함으로써 비모수 신호에 대한 가설 검정을 가능하게 한다.
• 반복 횟수 $ t $에 따른 가장 약한 탐지 가능한 신호(SWDS)의 강도를 유도하여 편향 감소와 분산 증가 사이의 균형을 맞춘다.
• SWDS를 최소화하는 데이터 기반의 조기 정지 규칙을 도입함으로써 최적의 검정 성능을 보장한다.
• 다양한 커널 클래스에 적합한 최적 반복 횟수를 기술하기 위해 다항 및 지수 형태의 고유값 감쇠율을 활용한다.
• 편향 추정을 위해 부트스트랩 근사법을 적용하고, 수축 행렬과 고유값 변화에 대한 이론적 경계를 활용하여 渐近 결과를 도출한다.

실험 결과

연구 질문

• RQ1 정규화 없이도 비모수 모델에서 최소최대 최적 검정을 달성하기 위해 조기 정지를 사용할 수 있는가?
• RQ2 오버피팅을 피하면서 검정력이 최대가 되는 최적의 반복 횟수 $ t $는 무엇인가?
• RQ3 추정과는 다름없이, 검정에서의 편향-분산 트레이드오프는 어떻게 다른가?
• RQ4 검정을 위한 조기 정지 규칙이 '날카운'인가? 즉, 최적성이 특정한 최적 반복 순서에서만 성립하는가?
• RQ5 동일한 정지 규칙이 최소최대 최적 추정을 도출할 수 있으며, 추정에 대해서도 날카로운가?

주요 결과

• 날카운 조기 정지 규칙이 확립되었다: 반복 횟수가 커널의 고유값 감쇠율에 의해 결정되는 최적 순서에 도달할 때에만 검정 최적성이 달성된다.
• 제안된 월드 유형 검정 통계량 $ D_{n,t} $ 는 반복 횟수에 따라 파라볼라 형태의 검정력 패턴을 보이며, 최적 $ t $ 에서 정점에 도달함으로써 검정에서의 편향과 분산 간의 상호작용 존재를 확인한다.
• 다항 고유값 감쇠 $ u_i \asymp i^{-2m} $ 를 가지는 소볼레프 스무스니스 클래스의 경우, 최적 반복 횟수는 $ t^* \asymp n^{1/(2m)} $ 로 스케일링되며, 이는 최소최대 최적성을 보장한다.
• 지수 고유값 감쇠 $ u_i \asymp \exp(-\beta i^p) $ 를 가지는 가우시안 커널 클래스의 경우, 최적 반복 횟수는 $ t^* \asymp \log n $ 로, 다시 한번 최소최대 검정 최적성을 달성한다.
• 조기 정지 규칙의 날카움은 검정과 추정 모두에 대해 증명되었다: $ t \ll t^* $ 또는 $ t \gg t^* $ 일 경우 최적성이 달성되지 않으며, 중간 영역에서도 더 나은 성능을 내지 못한다.
• 이전 논문 [11] 및 [19]에서 제안한 추정을 위한 조기 정지 규칙도 최소최대 최적 추정에 대해 날카로운 것으로 밝혀졌으며, 이는 더 넓은 이론적 프레임워크로의 결과 확장이다.