[논문 리뷰] Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime

Hugo Cui, Bruno Loureiro외 2명|arXiv (Cornell University)|2021. 05. 31.

Sparse and Compressive Sensing Techniques참고 문헌 59인용 수 13

한 줄 요약

이 논문은 가우시안 설계 하에서 노이즈 없는 및 노이즈 있는 영역 간에 커널 리지 회귀의 일반화 오차 분석을 통합하여, 표본 복잡도가 증가함에 따라 초과 오차 감쇠 속도의 연속적인 전이가 발생하는 것을 밝혀냈다. 이는 이전 연구들 간의 모순을 해결하며, 노이즈 없는 지수들이 정규화와 표본 크기의 상호작용을 통해 고전적인 노이즈 있는 지수로 전이됨을 보여주며, 실제 데이터 세트를 통해 검증되었다.

ABSTRACT

In this manuscript we consider Kernel Ridge Regression (KRR) under the Gaussian design. Exponents for the decay of the excess generalization error of KRR have been reported in various works under the assumption of power-law decay of eigenvalues of the features co-variance. These decays were, however, provided for sizeably different setups, namely in the noiseless case with constant regularization and in the noisy optimally regularized case. Intermediary settings have been left substantially uncharted. In this work, we unify and extend this line of work, providing characterization of all regimes and excess error decay rates that can be observed in terms of the interplay of noise and regularization. In particular, we show the existence of a transition in the noisy setting between the noiseless exponents to its noisy values as the sample complexity is increased. Finally, we illustrate how this crossover can also be observed on real data sets.

연구 동기 및 목표

• 커널 리지 회귀에서 일반화 오차 감쇠 속도에 대한 서로 다른 보고들, 특히 노이즈 없는 설정과 노이즈 있는 설정 간의 모순을 해결하기 위해.
• 노이즈 수준, 정규화, 표본 복잡도를 기반으로 초과 오차 감쇠 속도의 전반적인 스펙트럼을 특성화하기 위해.
• 고전적인 최악의 경우 분석과 일반적인 경우 가우시안 설계 결과를 통합하여, 모든 영역에서의 일관성을 보여주기 위해.
• 표본 크기가 증가함에 따라 노이즈 없는 오차 지수에서 노이즈 있는 오차 지수로의 연속적인 전이(교착점) 존재를 보여주기 위해.
• 실제 세계 데이터 세트를 사용하여 이론적 교착점의 존재를 검증하기 위해.

제안 방법

• 공분산 행렬의 거듭제곱 법칙에 따라 고유값이 감쇠하는 가우시안 설계 하에서 커널 리지 회귀를 분석한다.
• 노이즈, 정규화, 표본 복잡도를 균형 잡는 방식으로 점점 증가하는 초과 일반화 오차 감쇠 속도를 유도한다.
• 임의 행렬 이론과 고차원 점근적 분석을 사용하여 모든 영역에서 오차 감쇠를 특성화한다.
• 정규화와 고유값 감쇠의 상호작용을 통해 노이즈 없는(영 노이즈) 및 노이즈 있는(비영 노이즈) 오차 지수를 연결하는 통합 프레임워크를 도입한다.
• 이론적 경계와 수치적 검증을 활용하여 합성 및 실제 데이터 모두에서 전이 행동을 확인한다.
• 기존 통계학적 학습 및 통계물리학 문헌에서의 결과와 이론적 예측을 비교하여 모순을 해소한다.

실험 결과

연구 질문

• RQ1 커널 리지 회귀에서 일반화 오차 감쇠 속도는 노이즈 없는 영역과 노이즈 있는 영역 간에 어떻게 달라지나?
• RQ2 정규화와 표본 복잡도는 노이즈 없는 오차 지수와 노이즈 있는 오차 지수 사이의 전이를 어떻게 매개하는가?
• RQ3 왜 이전 연구들은 서로 다른 오차 감쇠 속도를 보고하는가? 이는 통합 프레임워크 하에서 조율될 수 있는가?
• RQ4 일반적인 경우 가우시안 설계 분석은 최악의 경우 데이터 무관 통계학적 학습 이론과 일관한가?
• RQ5 실제 데이터 세트에서 노이즈 없는 오차 행동으로의 전이가 경험적으로 관찰될 수 있는가?

주요 결과

• 표본 복잡도가 증가함에 따라 노이즈 없는 일반화 오차 감쇠 속도에서 노이즈 있는 오차 감쇠 속도로의 연속적인 전이가 관찰되며, 미미한 노이즈가 존재하는 경우에도 마찬가지다.
• 이전에 [12,13]에서 보고된 노이즈 없는 지수는 표본 수가 증가함에 따라 정규화와 고유값 감쇠의 영향을 받아 고전적인 노이즈 있는 지수로 전이된다.
• 이론적 분석은 일반적인 경우 가우시안 설계 결과가 최악의 경우 통계학적 학습 경계와 일관됨을 보여주며, 이로써 이전의 명백한 모순을 해소한다.
• 교착점은 정규화 파ameter와 고유값 감쇠 속도 간의 경쟁에 의해 결정되며, 지수 분석을 통해 별도의 영역이 식별된다.
• 실제 데이터 세트에 대한 수치 실험은 노이즈에서 노이즈 없는 전이의 존재를 확인하여 이론적 예측을 검증한다.
• 파란색(노이즈 없는)과 주황색(노이즈 있는) 오차 지수가 극한 경우로 나타나며, 중간 영역에서는 부드러운 전이가 관찰된다.