[논문 리뷰] Sharp Asymptotics of Kernel Ridge Regression Beyond the Linear Regime

Hong Hu, Yue M. Lu|arXiv (Cornell University)|2022. 05. 13.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 표본 크기 $ n $ 가 정수 $ k \geq 1 $ 에 대해 $ n \asymp d^k $ 와 같이 스케일링되는 고차원 설정에서 커널 리지 회귀(KRR)의 날카운 점근적 분석을 제공하며, 다항식 학습 영역 간의 편향-분산 트레이드오프로 인해 KRR가 비단조적('더블 디센트') 일반화 곡선을 보임을 드러낸다. 저자들은 가우시안 등가성 추측을 엄밀히 확립하여, 임계 스케일링 임계점에서의 테스트 오차 전이를 정밀하게 특성화한다.

ABSTRACT

The generalization performance of kernel ridge regression (KRR) exhibits a multi-phased pattern that crucially depends on the scaling relationship between the sample size $n$ and the underlying dimension $d$. This phenomenon is due to the fact that KRR sequentially learns functions of increasing complexity as the sample size increases; when $d^{k-1}\ll n\ll d^{k}$, only polynomials with degree less than $k$ are learned. In this paper, we present sharp asymptotic characterization of the performance of KRR at the critical transition regions with $n \asymp d^k$, for $k\in\mathbb{Z}^{+}$. Our asymptotic characterization provides a precise picture of the whole learning process and clarifies the impact of various parameters (including the choice of the kernel function) on the generalization performance. In particular, we show that the learning curves of KRR can have a delicate "double descent" behavior due to specific bias-variance trade-offs at different polynomial scaling regimes.

연구 동기 및 목표

• 표본 크기 $ n \asymp d^k $ 인 고차원 영역에서 커널 리지 회귀(KRR)의 일반화 성능을 이해하기 위해.
• 표본 수 $ d^{k-1} \ll n \ll d^k $ 일 때도 $ k $ 보다 작은 차수의 다항식만 학습되는 다단계 학습 행동을 해소하기 위해.
• 임계 영역 $ n \asymp d^k $ 에서 테스트 오차와 학습 오차의 날카운 점근적 특성화를 제공하여, 커널 선택과 정규화의 역할을 명확히 하기 위해.
• 이전의 비엄밀한 통계역학적 분석에서 제기된 KRR의 고차원 극한에서의 가우시안 등가성 추측을 엄밀히 검증하기 위해.

제안 방법

• 분석은 구면 조화함수와 초구면 다항식 전개를 활용하여 커널과 타겟 함수를 차수 증가하는 정규직교 성분으로 분해한다.
• 저자들은 고차원 극한에서 커널 행렬 $ \boldsymbol{K} $ 와 입력 설계 행렬 $ \boldsymbol{X} $ 의 스펙트럼 성질을 분석하여 학습 오차와 테스트 오차의 점근적 표현을 유도한다.
• 핵심 기여 중 하나는 고차원 분석을 위해 무작위 커널 행렬을 가우시안 대체 모델로 대체할 수 있도록 보장하는 가우시안 등가성 추측의 엄밀한 증명이다.
• 이 방법은 커널과 타겟 함수를 차수-$ k $ 성분으로 블록 단위로 분해하고, 각 부분공간에 대한 샘플링 비율 $ \delta_k = n / N_k $ 의 점근적 분석을 포함한다.
• 분석은 i.i.d. 등방향 입력 벡터와 저차수 다항식으로 구성된 티처 모델을 가정하여 편향 및 분산 성분을 정확히 계산할 수 있도록 한다.
• 틀은 연산자 노름과 프로베니우스 노름의 경계를 사용하여 오차 항을 통제하고, 고차원 점근적 조건 하에서 확률 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 표본 수 $ n \asymp d^k $ 인 임계 전이 지점에서 KRR의 일반화 오차는 어떻게 행동하는가? 특히 정적 영역 $ d^{k-1} \ll n \ll d^k $ 와는 대조적으로.
• RQ2 KRR의 학습 곡선에서 비단조적이고 더블 디센트 유사 행동이 나타나는 원인은 무엇이며, 다항식 스케일링 영역 간의 편향-분산 트레이드오프로 어떻게 규제되는가?
• RQ3 고차원 설정에서 KRR의 성능은 어느 정도까지 가우시안 등가 모델로 정확히 기술될 수 있으며, 이 추측은 엄밀히 증명될 수 있는가?
• RQ4 커널 함수의 선택과 정규화 파라미터 $ \lambda $ 는 $ n \asymp d^k $ 전이 지점에서의 테스트 오차의 날카운 점근적 행동에 어떻게 영향을 미치는가?

주요 결과

• KRR의 테스트 오차는 $ n \asymp d^k $ 에서 민감한 더블 디센트 행동을 보이며, 다항식 차수 간의 편향-분산 트레이드오프 변화로 인해 초기 증가 후 감소하는 경향이 있다.
• 임계점 $ n \asymp d^k $ 에서의 점근적 테스트 오차는 커널의 스펙트럼 성질과 타겟 함수의 차수-$ k $ 구면 조화함수 부분공간으로의 투영 간의 상호작용에 의해 정확히 특성화된다.
• 가우시안 등가성 추측이 엄밀히 증명되었으며, KRR의 고차원 행동이 정확히 가우시안 대체 모델로 기술될 수 있음을 보여주어 이전의 비엄밀한 통계역학적 접근을 정당화한다.
• 학습 과정은 계층적이다: KRR는 다항식 복잡도가 증가하는 순서로 함수를 학습하며, $ d^{k-1} \ll n \ll d^k $ 일 때는 오직 차수-$ <k $ 다항식만 학습된다.
• 테스트 오차의 날카운 점근적 공식은 커널의 차수-$ k $ 스펙트럼 계수와 샘플링 비율 $ \delta_k = n / N_k $ 에 대해 명시적으로 의존하며, $ N_k \sim d^k $ 이다.
• 결과는 커널 함수의 구조—특히 그 구면 조화함수 전개—가 일반화 오차의 더블 디센트 곡선의 형태와 위치를 결정함을 명확히 한다.