[논문 리뷰] Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration

Kwang-Sung Jun, Ashok Cutkosky외 1명|arXiv (Cornell University)|2019. 01. 01.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 비모수적 최소제곱 회귀를 위한 새로운 알고리즘인 커널 절단 랜덤라이즈드 리지 회귀를 소개한다. 이 알고리즘은 일반화 오차의 최적 경계를 확보하고, 베이즈 리스크가 낮을 경우 유한 시간 및 渐近 수렴 속도가 더 빠르며, 이는 이론적 상한과 하한 사이의 오랫동안 미해결된 격차를 메운다.

ABSTRACT

In this paper we consider the nonparametric least square regression in a Reproducing Kernel Hilbert Space (RKHS). We propose a new randomized algorithm that has optimal generalization error bounds with respect to the square loss, closing a long-standing gap between upper and lower bounds. Moreover, we show that our algorithm has faster finite-time and asymptotic rates on problems where the Bayes risk with respect to the square loss is small. We state our results using standard tools from the theory of least square regression in RKHSs, namely, the decay of the eigenvalues of the associated integral operator and the complexity of the optimal predictor measured through the integral operator.

연구 동기 및 목표

• 비모수적 리지 회귀에서 RKHS 상에서 일반화 오차의 기존 상한과 하한 사이의 격차를 해소하기 위해.
• 유한 표본 및 渐近 영역 모두에서 최적 수렴 속도를 달성하는 랜덤라이즈드 알고리즘을 개발하기 위해.
• 저소음 리스크가 커널 리지 회귀 방법의 수렴 속도에 미치는 영향을 분석하기 위해.
• 커널과 관련된 적분 연산자의 고유값 감쇠와 복잡도를 사용하여 알고리즘의 성능을 특성화하기 위해.

제안 방법

• 계산 비용을 줄이면서도 통계적 최적성을 유지하기 위해 커널 고유분해를 절단하는 랜덤라이즈드 알고리즘을 제안한다.
• 커널 행렬을 효율적으로 근사하기 위해 랜덤 스케칭 기법을 적용하여 고차원 RKHS에서의 확장 가능한 계산을 가능하게 한다.
• 유한 표본에서 분산을 제어하고 일반화 성능을 향상시키기 위해 절단을 통한 리지 정규화를 구현한다.
• 특히 적분 연산자의 고유값 감쇠율에 초점을 맞춘 RKHS 이론 도구를 사용해 알고리즘을 분석한다.
• 고유값 감쇠와 RKHS 내 목표 함수의 매끄러움에 따라 종속되는 일반화 오차 경계를 유도한다.
• 표준 고유값 감쇠 및 함수 복잡도 가정 하에 알고리즘이 최소 최대 최적 수렴 속도를 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 랜덤라이즈드 알고리즘이 유한 표본 보장이 있는 RKHS 회귀에서 최소 최대 최적 일반화 오차 경계를 달성할 수 있는가?
• RQ2 베이즈 리스크는 커널 리지 회귀 알고리즘의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 절단과 랜덤라이제이션이 표준 커널 리지 회귀보다 저소음 설정에서 더 빠른 수렴을 이끌어내는가?
• RQ4 고유값 감쇠와 함수 복잡도는 제안된 방법의 최적 수렴 속도에 어떤 역할을 하는가?
• RQ5 실용적이고 랜덤라이즈드 알고리즘을 사용해 일반화 오차의 상한과 하한 사이의 격차를 메울 수 있는가?

주요 결과

• 제안된 알고리즘은 고유값 감쇠 및 함수 복잡도에 대한 표준 가정 하에 최소 최대 최적 일반화 오차 경계를 달성한다.
• 베이즈 리스크가 작을 경우 알고리즘이 더 빠른 유한 시간 및 渐近 수렴 속도를 보이며, 저소음 가속화를 나타낸다.
• 이론적 분석을 통해 이 방법이 비모수적 리지 회귀에서 오랫동안 미해결되었던 상한과 하한 사이의 격차를 메운다는 것이 확인된다.
• 수렴 속도는 적분 연산자의 고유값 감쇠와 최적 예측자의 매끄러움에 따라 달라진다.
• 랜덤 스케칭과 절단의 조합은 계산 효율성과 통계적 최적성을 동시에 달성한다.
• 이 방법의 성능은 RKHS 내 목표 함수의 복잡도와 고유값 감쇠의 상호작용을 통해 정확히 특성화된다.