[논문 리뷰] Kernel regression in high dimensions: Refined analysis beyond double descent

Fanghui Liu, Zhenyu Liao외 1명|arXiv (Cornell University)|2020. 10. 06.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 14

한 줄 요약

이 논문은 일반화 리스크를 편향과 분산 성분으로 분해하여 고차원에서 커널 리지 회귀의 정밀한 분석을 제공한다. 리스크 곡선이 데이터 고유값 프로파일과 정규화에 따라 이중 내림막, 종형, 또는 단조 감소 형태를 띌 수 있음을 보여주며, 편향은 차원에 거의 영향을 받지 않고 표본 크기 증가에 따라 감소하는 반면, 분산은 $ n $, $ d $, 정규화의 상호작용에 따라 결정되며, 이중 내림막 이론을 넘어서는 프레임워크를 제공한다.

ABSTRACT

In this paper, we provide a precise characterization of generalization properties of high dimensional kernel ridge regression across the under- and over-parameterized regimes, depending on whether the number of training data n exceeds the feature dimension d. By establishing a bias-variance decomposition of the expected excess risk, we show that, while the bias is (almost) independent of d and monotonically decreases with n, the variance depends on n, d and can be unimodal or monotonically decreasing under different regularization schemes. Our refined analysis goes beyond the double descent theory by showing that, depending on the data eigen-profile and the level of regularization, the kernel regression risk curve can be a double-descent-like, bell-shaped, or monotonic function of n. Experiments on synthetic and real data are conducted to support our theoretical findings.

연구 동기 및 목표

• 고차원에서의 커널 리지 회귀의 일반화 성질을 과소 및 과다 파rameter화 영역에서 이해하기 위해.
• 예상 초과 리스크를 편향과 분산 성분으로 분해하여, 이들이 $ n $, $ d $, 정규화에 어떻게 의존하는지 분석하기 위해.
• 데이터 구조와 정규화에 기반한 다양한 리스크 곡선 형태(이중 내림막, 종형, 단조 감소)를 특성화하여 이중 내림막 패러다임을 넘어서기 위해.
• 커널 방법에서 암시적 및 명시적 정규화를 분석하기 위한 체계적인 프레임워크를 제공하기 위해, 커널 행렬의 선형화를 통한 방법을 제시하기 위해.

제안 방법

• 커널 리지 회귀에서 예상 초과 리스크의 편향-분산 분해를 유도한다.
• 고차원에서 커널 행렬의 선형화를 사용하여 암시적 정규화를 명시적으로 모델링한다.
• 분산 행동을 $ n $, $ d $, 정규화 파라미터 $ \lambda $ 의 함수로 분석하여, 단일 최대값 또는 단조 감소 경향을 보임을 보여준다.
• 데이터 공분산의 고유값 감쇠 프로파일(조화수, 다항식, 지수함수)에 따라 리스크 곡선을 특성화하는 이론적 프레임워크를 도입한다.
• 합성 및 실질 데이터셋(MNIST, YearPredictionMSD 등)에서 결과를 실증적으로 검증하며, 커널 고유값과 그 선형화된 근사값을 비교한다.
• 편향과 분산의 수렴 속도를 유도하여, 다항식 감쇠 하에서 $ \mathcal{O}(n^{-2\vartheta r}) $ 행동을 보이며, 작은 $ \lambda $ 에서 지수 감쇠 시 단조 감소하는 분산을 확인한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 표본 크기 $ n $ 에 따라 커널 리지 회귀의 일반화 리스크는 어떻게 행동하는가?
• RQ2 데이터 고유값 구조와 정규화에 따라 이중 내림막 이외의 형태—예를 들어 종형 또는 단조 감소 형태—를 띠는 리스크 곡선이 존재하는가?
• RQ3 명시적 및 암시적 정규화는 커널 추정기의 분산과 편향 성분을 어떻게 형성하는가?
• RQ4 다양한 고유값 감쇠 프로파일(예: 다항식, 지수함수)은 분산과 전체 리스크 행동에 어떻게 영향을 미치는가?
• RQ5 고차원에서 비선형 커널의 고유값 구조를 정확히 반영할 수 있는 커널 행렬의 선형화는 어느 정도 정확한가?

주요 결과

• 커널 리지 회귀에서 편향은 특징 차원 $ d $ 에 거의 영향을 받지 않으며, 표본 수 $ n $ 증가에 따라 단조 감소한다.
• 분산은 다양한 행동을 보이며, 데이터 고유값 감쇠와 정규화 수준에 따라 단일 최대값(종형 리스크 곡선) 또는 단조 감소 형태를 띈다.
• 다항식 감쇠에서 $ \vartheta < 1/(1 + 1/(2a)) $ 일 경우, 분산은 단일 최대값을 가지며 종형 리스크 곡선을 이끈다.
• 지수 감쇠 및 작은 정규화 조건에서는 분산이 $ n $ 증가에 따라 단조 감소하며, 이는 단조 감소 리스크 곡선을 초래한다.
• 이론적 분석을 통해 다항식 감쇠 하에서 $ \text{bias} = \mathcal{O}(n^{-2\vartheta r}) $ 를 확인하였으며, $ r=1 $ 일 때 실증 수렴 속도와 일치한다.
• MNIST 및 합성 데이터에 대한 실증 결과는 비선형 커널 행렬의 고유값 감쇠가 선형화된 대응항 $ \widetilde{\bm{X}} $ 와 매우 유사함을 확인하여 선형화 프레임워크의 타당성을 검증한다.