[논문 리뷰] Analyzing the discrepancy principle for kernelized spectral filter learning algorithms

Alain Célisse, Martin Wahl|arXiv (Cornell University)|2020. 04. 17.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 6

한 줄 요약

이 논문은 커널링된 스펙트럼 필터 학습 알고리즘에 대한 초기 정지 규칙을 비율 원칙과 그 부드럽게 개선된 변형을 사용하여 분석한다. 유한 표본에 대한 오рак루 불등식을 고정 설계 및 랜덤 설계 설정 모두에서 수립하여, 고전적 비율 원칙이 느린 수렴 속도에 대해 통계적으로 적응 가능하다는 것을 증명하고, 부드럽게 개선된 형태는 더 빠른 수렴 속도와 더 높은 부드러움 매개변수에 적응 가능하다는 것을 보여준다.

ABSTRACT

We investigate the construction of early stopping rules in the nonparametric regression problem where iterative learning algorithms are used and the optimal iteration number is unknown. More precisely, we study the discrepancy principle, as well as modifications based on smoothed residuals, for kernelized spectral filter learning algorithms including gradient descent. Our main theoretical bounds are oracle inequalities established for the empirical estimation error (fixed design), and for the prediction error (random design). From these finite-sample bounds it follows that the classical discrepancy principle is statistically adaptive for slow rates occurring in the hard learning scenario, while the smoothed discrepancy principles are adaptive over ranges of faster rates (resp. higher smoothness parameters). Our approach relies on deviation inequalities for the stopping rules in the fixed design setting, combined with change-of-norm arguments to deal with the random design setting.

연구 동기 및 목표

• 비모수적 회귀에서 반복적 커널링된 스펙트럼 필터 알고리즘에 대한 데이터 기반 초기 정지 규칙을 개발하기 위해.
• 고전적 비율 원칙과 그 부드럽게 개선된 변형의 유한 표본에서의 통계적 성능을 분석하기 위해.
• 고정 설계 및 랜덤 설계 설정 모두에서 추정 오차와 예측 오차에 대한 이론적 보장을, 특히 오라클 불등식을 수립하기 위해.
• 하드 학습 상황에서 알려지지 않은 부드러움 매개변수 또는 수렴 속도에 대한 정지 규칙의 적응성을 조사하기 위해.
• Lepskii 유형의 방법에서 흔히 사용되는 쌍별 모델 비교를 피하면서 이론적 분석과 실용적인 계산 효율성을 연결하기 위해.

제안 방법

• 표본 잔차 노름이 잡음 수준에 비례하는 임계값과 일치할 때 정지 조건을 정의하는 비율 원칙을 정지 규칙으로 사용한다.
• 유한 표본에서의 강건성과 적응성을 향상시키기 위해 비율 원칙의 부드러운 잔차 변형을 도입한다.
• 고정 설계 설정에서 정지 규칙의 편차 부등식을 적용하여 과적합의 확률을 제어한다.
• 고정 설계에서의 결과를 더 현실적인 표본 추출 시나리오로 확장하기 위해 노름 전환 논증을 활용하여 예측 오차 경계를 도출한다.
• 효용 차원과 정규화 효과를 제어하기 위해 연산자 노름 부등식과 고유값 감쇠 가정(예: 다항식 또는 지수적 감쇠)을 활용한다.
• 표본 연산자에 대한 농도 부등식과 재생 커널 힐버트 공간(RKHS) 내의 스펙트럼 정규화 이론을 결합하여 유한 표본 오라클 불등식을 유도한다.

실험 결과

연구 질문

• RQ1 고전적 비율 원칙은 커널링된 스펙트럼 필터 학습에서 데이터 기반 초기 정지 규칙으로 이론적으로 정당화될 수 있는가?
• RQ2 비율 원칙의 부드럽게 개선된 형태는 고전적 형태에 비해 통계적 성능과 적응성에서 어떻게 향상되는가?
• RQ3 비율 원칙이 비모수적 회귀에서 최적 또는 근사 최적 수렴 속도를 달성하는 데 어떤 조건이 필요한가?
• RQ4 정지 규칙이 알려지지 않은 부드러움 매개변수 또는 수렴 속도에 대해 어느 정도 적응 가능한가?
• RQ5 고정 설계 설정에서의 추정 오차 및 예측 오차에 대한 이론적 보장은 어떻게 랜덤 설계 설정으로 확장될 수 있는가?

주요 결과

• 유한 표본 오라클 불등식을 통해 고전적 비율 원칙이 하드 학습 상황에서 느린 수렴 속도에 대해 통계적으로 적응 가능하다는 것이 입증되었다.
• 부드럽게 개선된 비율 원칙이 더 빠른 수렴 속도 범위에 대해 적응 가능하며, 이는 회귀 함수의 더 높은 부드러움 매개변수에 해당한다.
• 일반적인 스펙트럼 필터 알고리즘(예: 경사 하강법 포함) 하에서 고정 설계 설정에서 표본 추정 오차에 대한 오라클 불등식이 수립되었다.
• 노름 전환 논증을 통해 랜덤 설계 설정에서의 예측 오차 경계가 유도되었으며, 이는 고정 설계 결과를 더 현실적인 표본 추출 상황으로 확장한다.
• 다항식 또는 지수적 고유값 감쇠 조건 하에서 RKHS의 유효 차원이 제어되며, 이는 정규화 효과에 대한 날카운 경계를 가능하게 한다.
• 이론적 분석은 제안된 정지 규칙이 Lepskii 방법과 같은 모델 선택 방법의 계산 부담을 피하면서도 강력한 통계적 성능을 유지함을 확인한다.