[논문 리뷰] Spectrum of inner-product kernel matrices in the polynomial regime and multiple descent phenomenon in kernel ridge regression

Theodor Misiakiewicz|arXiv (Cornell University)|2022. 04. 21.

Random Matrices and Applications인용 수 9

한 줄 요약

이 논문은 구형 및 초입방체 분포 자료에 대해 다항 고차원 영역($n \asymp d^\ell$)에서 내적 커널 행렬의 스펙트럼 분해를 수립하며, Gegenbauer 행렬 성분이 Marchenko-Pastur 법칙으로 수렴함을 보여준다. 커널 리지 회귀(KRR)의 테스트 오차에 대한 정밀한 점근적 표현을 유도하여, 효과적 정규화와 신호 대 잡음비에 의해 정수 $\kappa$ 값에서 이중 내림표현이 나타남을 밝혀내며, KRR 리스크 곡선에서의 다중 내림현상에 대한 설명을 제공한다.

ABSTRACT

We study the spectrum of inner-product kernel matrices, i.e., $n imes n$ matrices with entries $h (\langle extbf{x}_i , extbf{x}_j angle/d)$ where the $( extbf{x}_i)_{i \leq n}$ are i.i.d.~random covariates in $\mathbb{R}^d$. In the linear high-dimensional regime $n \asymp d$, it was shown that these matrices are well approximated by their linearization, which simplifies into the sum of a rescaled Wishart matrix and identity matrix. In this paper, we generalize this decomposition to the polynomial high-dimensional regime $n \asymp d^\ell,\ell \in \mathbb{N}$, for data uniformly distributed on the sphere and hypercube. In this regime, the kernel matrix is well approximated by its degree-$\ell$ polynomial approximation and can be decomposed into a low-rank spike matrix, identity and a `Gegenbauer matrix' with entries $Q_\ell (\langle extbf{x}_i , extbf{x}_j angle)$, where $Q_\ell$ is the degree-$\ell$ Gegenbauer polynomial. We show that the spectrum of the Gegenbauer matrix converges in distribution to a Marchenko-Pastur law. This problem is motivated by the study of the prediction error of kernel ridge regression (KRR) in the polynomial regime $n \asymp d^κ, κ>0$. Previous work showed that for $κ ot\in \mathbb{N}$, KRR fits exactly a degree-$\lfloor κ floor$ polynomial approximation to the target function. In this paper, we use our characterization of the kernel matrix to complete this picture and compute the precise asymptotics of the test error in the limit $n/d^κ o ψ$ with $κ\in \mathbb{N}$. In this case, the test error can present a double descent behavior, depending on the effective regularization and signal-to-noise ratio at level $κ$. Because this double descent can occur each time $κ$ crosses an integer, this explains the multiple descent phenomenon in the KRR risk curve observed in several previous works.

연구 동기 및 목표

• 구형 및 초입방체 자료에 대해 다항 고차원 영역($n \asymp d^\ell$)에서 내적 커널 행렬의 스펙트럼을 특성화하는 것.
• 선형 커널 행렬 근사의 범위를 $n \asymp d$에서 고차수 다항 영역으로 확장하는 것.
• 다항식 $n/d^\kappa \to \psi$를 만족할 때 커널 리지 회귀(KRR)의 테스트 오차에 대한 정밀한 점근적 표현을 도출하는 것, 여기서 $\kappa \in \mathbb{N}$이다.
• 정수 $\kappa$ 값에서 효과적 정규화와 신호 대 잡음비의 상호작용을 통해 KRR 리스크 곡선의 다중 내림 현상에 대한 설명을 제공하는 것.

제안 방법

• 커널 행렬을 저랭크 스피크, 항등행렬, 그리고 항목이 $Q_\ell(\langle \mathbf{x}_i, \mathbf{x}_j \rangle)$인 Gegenbauer 행렬으로 분해하는 스펙트럼 분해를 유도한다. 여기서 $Q_\ell$는 차수 $\ell$의 Gegenbauer 다항식이다.
• 다항 영역에서 Gegenbauer 행렬의 점근적 스펙트럼 분포가 Marchenko-Pastur 법칙으로 수렴함을 확립한다.
• 구면 및 초입방체 위에서의 직교다항식 전개를 활용하여 스펙트럼 분해를 수행하며, 구면 조화다항식과 초입방체 Gegenbauer 다항식을 활용한다.
• 고차수 다항식의 $L^q$ 노름에 대한 초수렴성 부등식을 적용하여 오차 항을 제어한다.
• 분석을 단순화하고 점근적 오차 공식을 도출하기 위해 가우시안 공변수 모델과의 등가성을 활용한다.
• 임의 행렬 이론 도구를 적용하여 커널 행렬 성분의 연산자 노름과 고유값 분포를 분석한다.

실험 결과

연구 질문

• RQ1 구형 및 초입방체 자료에 대해 다항 고차원 영역($n \asymp d^\ell$)에서 내적 커널 행렬의 스펙트럼은 어떻게 행동하는가?
• RQ2 커널 행렬 분해에서 Gegenbauer 행렬 성분의 점근적 스펙트럼 분포는 무엇인가?
• RQ3 다항식 $n/d^\kappa \to \psi$를 만족할 때 커널 리지 회귀(KRR)의 테스트 오차는 점근적으로 어떻게 스케일링되는가? 여기서 $\kappa \in \mathbb{N}$이다.
• RQ4 KRR 리스크 곡선이 다중 내림 행동을 보이는 이유는 무엇이며, 이는 다항 영역과 정규화와 어떻게 관련이 있는가?
• RQ5 정수 $\kappa$ 값에서 효과적 정규화와 신호 대 잡음비를 기반으로 KRR의 이중 내림 현상은 정확히 어떻게 특성화될 수 있는가?

주요 결과

• 다항 영역($n \asymp d^\ell$)에서 커널 행렬은 그 차수 $\ell$의 다항식 근사에 의해 잘 근사되며, 저랭크 스피크, 항등행렬, 그리고 항목이 $Q_\ell(\langle \mathbf{x}_i, \mathbf{x}_j \rangle)$인 Gegenbauer 행렬으로 분해된다.
• 다항 영역에서 $n,d \to \infty$이며 $n \asymp d^\ell$일 때, Gegenbauer 행렬의 스펙트럼은 분포적으로 Marchenko-Pastur 법칙으로 수렴한다.
• 정수 $\kappa$ 값에서, 커널 리지 회귀(KRR)의 테스트 오차는 효과적 정규화와 신호 대 잡음비에 따라 이중 내림 행동을 보인다.
• KRR 리스크 곡선에서의 다중 내림 현상은 다항 영역 전이가 일어나는 각 정수 $\kappa$에서 이중 내림이 발생할 수 있기 때문에 발생한다.
• 점근적 테스트 오차 공식은 $n/d^\kappa \to \psi$의 극한에서 정확히 유도되었으며, 이는 다항 영역에서 리스크를 완전히 특성화한다.
• 분석을 통해 구형/초입방체 모델에서의 KRR 리스크와 해당 가우시안 공변수 모델 간의 등가성을 확립하여 오차 점근적 표현의 단순화를 가능하게 하였다.