[논문 리뷰] Kernel Alignment Risk Estimator: Risk Prediction from Training Data

Arthur Paul Jacot, Berfin Şimşek외 3명|arXiv (Cornell University)|2020. 01. 01.

Statistical Mechanics and Entropy인용 수 5

한 줄 요약

이 논문은 훈련 데이터만을 사용하여 커널 리지 회귀(KRR)의 일반화 리스크를 예측하는 데이터에 의존하는 방법인 커널 일치 리스크 추정기(KARE)를 소개한다. 시그널 캡처 임계값과 월리쉬 행렬의 유한 크기 분석을 활용하여 KARE는 KRR 리스크에 대한 정확하고 분포에 의존하지 않는 근사치를 제공하며, 힉스 및 MNIST 데이터셋에서 강력한 경험적 성능을 보이며 커널과 하이퍼파라미터 선택에 효과적으로 활용할 수 있다.

ABSTRACT

We study the risk (i.e. generalization error) of Kernel Ridge Regression (KRR) for a kernel $K$ with ridge $\lambda>0$ and i.i.d. observations. For this, we introduce two objects: the Signal Capture Threshold (SCT) and the Kernel Alignment Risk Estimator (KARE). The SCT $\vartheta_{K,\lambda}$ is a function of the data distribution: it can be used to identify the components of the data that the KRR predictor captures, and to approximate the (expected) KRR risk. This then leads to a KRR risk approximation by the KARE $ ho_{K, \lambda}$, an explicit function of the training data, agnostic of the true data distribution. We phrase the regression problem in a functional setting. The key results then follow from a finite-size analysis of the Stieltjes transform of general Wishart random matrices. Under a natural universality assumption (that the KRR moments depend asymptotically on the first two moments of the observations) we capture the mean and variance of the KRR predictor. We numerically investigate our findings on the Higgs and MNIST datasets for various classical kernels: the KARE gives an excellent approximation of the risk, thus supporting our universality assumption. Using the KARE, one can compare choices of Kernels and hyperparameters directly from the training set. The KARE thus provides a promising data-dependent procedure to select Kernels that generalize well.

연구 동기 및 목표

• 진정한 데이터 분포에 대한 지식 없이 훈련 데이터만을 사용하여 커널 리지 회귀(KRR)의 일반화 리스크를 예측하는 방법을 개발하는 것.
• KRR 예측기에서 포착되는 데이터 분포의 구성 요소를 식별하고, 이를 정량화하기 위한 새로운 기능 분석 프레임워크를 제시하는 것.
• 윌샤르 랜덤 행렬의 스틸리에스 변환의 유한 크기 분석을 통한 리스크 예측의 이론적 기반을 확립하는 것.
• KRR 리스크 모멘트가 관측치의 첫 번째 두 모멘트에만 의존하는 '보편성 가정'이 타당한지 검증하는 것.
• 훈련 데이터만을 기반으로 한 실용적인 도구를 제공하여 커널과 하이퍼파라미터 선택을 개선하고 모델의 일반화 성능을 향상시키는 것.

제안 방법

• KRR가 포착하는 데이터의 구성 요소를 식별하는 데이터 분포에서 유도된 기능적 객체인 시그널 캡처 임계값(SCT) $\vartheta_{K,\lambda}$을 도입한다.
• 훈련 세트의 데이터에 의존하는 명시적 함수인 커널 일치 리스크 추정기(KARE) $\rho_{K,\lambda}$를 유도하며, 이는 진정한 데이터 분포가 필요 없이 기대 KRR 리스크를 근사한다.
• 일반 월리쉬 랜덤 행렬의 스틸리에스 변환의 유한 크기 분석을 적용하여, 보편성 가정 하에 KRR 예측기의 평균과 분산을 특성화한다.
• KRR 리스크 모멘트가 점점 더 관측치의 첫 번째 두 모멘트에만 의존한다는 가정을 내세워 분포에 의존하지 않는 리스크 추정을 가능하게 한다.
• 커널과 데이터 공분산의 연산자 및 스펙트럼 성질을 고려한 기능적 설정에서 회귀 문제를 프레임워크화한다.
• 클래식한 커널을 사용하여 힉스 및 MNIST 데이터셋에서 경험적으로 방법을 검증하며, KARE와 실제 리스크 간의 뛰어난 일치를 보여준다.

실험 결과

연구 질문

• RQ1 진정한 데이터 분포를 알지 못한 채 훈련 데이터만으로 커널 리지 회귀의 일반화 리스크를 정확하게 예측할 수 있는가?
• RQ2 KRR 예측기에서 포착되는 데이터 분포의 구성 요소는 무엇이며, 이를 어떻게 정량화할 수 있는가?
• RQ3 KRR 리스크 모멘트가 관측치의 첫 번째 두 모멘트에만 의존한다는 보편성 가정이 유한 표본에서 성립하는가?
• RQ4 제안된 KARE 추정기는 다양한 커널과 데이터셋에서 진짜 KRR 리스크를 얼마나 잘 근사하는가?
• RQ5 KARE는 훈련 데이터만을 기반으로 하여 커널과 리지 하이퍼파라미터를 선택하는 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• KARE는 매우 정확하고 데이터에 의존하는 기대 KRR 리스크 근사치를 제공하며, 힉스 및 MNIST 데이터셋 모두에서 뛰어난 경험적 성능을 보였다.
• 시그널 캡처 임계값 $\vartheta_{K,\lambda}$는 KRR 예측기가 포착하는 데이터 구성 요소를 성공적으로 식별하여 모델의 학습 행동에 대한 통찰을 가능하게 했다.
• 월리쉬 행렬의 유한 크기 분석은 제안된 보편성 가정 하에 KRR 예측기의 평균과 분산을 이론적으로 유도하는 데 기여했다.
• KRR 리스크 모멘트가 점점 더 관측치의 첫 번째 두 모멘트에만 의존한다는 보편성 가정은 실무에서 잘 성립하여, 방법의 이론적 기반을 검증했다.
• KARE는 훈련 세트만을 사용하여 다양한 커널과 리지 하이퍼파라미터를 직접 비교할 수 있게 하여 모델 선택을 위한 실용적인 도구를 제공한다.
• 수치 실험을 통해 KARE가 다양한 클래식한 커널에서 진짜 일반화 오차를 정밀하게 추적하는 것으로 확인되었으며, 이는 KARE가 리스크 예측기로서의 신뢰성을 입증한다.