[논문 리뷰] On the Risk of Minimum-Norm Interpolants and Restricted Lower Isometry of Kernels.

Tengyuan Liang, Alexander Rakhlin외 1명|arXiv (Cornell University)|2019. 08. 27.

Stochastic Gradient Optimization Techniques인용 수 19

한 줄 요약

이 논문은 Reproducing Kernel Hilbert Space (RKHS) 내 최소노름 보간자들의 일반화 위험을 분석하며, 표본 크기 n과 입력 차원 d = n^α (α ∈ (0,1))에 대해 위험이 다중 하강(multiple-descent) 행동을 보임을 보여준다. 분석은 위험 곡선이 비단조화적임을 드러내며, 이는 이론적 예측과 일치하는 피크를 보이며, 커널 등가성을 통해 과다 매개변수화된 신경망으로까지 확장된다.

ABSTRACT

We study the risk of minimum-norm interpolants of data in Reproducing Kernel Hilbert Spaces. Our upper bounds on the risk are of a multiple-descent shape for the various scalings of $d = n^{\alpha}$, $\alpha\in(0,1)$, for the input dimension $d$ and sample size $n$. Empirical evidence supports our finding that minimum-norm interpolants in RKHS can exhibit this unusual non-monotonicity in sample size; furthermore, locations of the peaks in our experiments match our theoretical predictions. Since gradient flow on appropriately initialized wide neural networks converges to a minimum-norm interpolant with respect to a certain kernel, our analysis also yields novel estimation and generalization guarantees for these over-parametrized models. At the heart of our analysis is a study of spectral properties of the random kernel matrix restricted to a filtration of eigen-spaces of the population covariance operator, and may be of independent interest.

연구 동기 및 목표

• Reproducing Kernel Hilbert Space (RKHS) 내 최소노름 보간자의 일반화 위험을 이해하는 것.
• 표본 크기 n과 입력 차원 d = n^α (α ∈ (0,1))에 따른 위험의 변화를 규명하는 것.
• 고차원 환경에서 비단조화적이고 다중 하강적인 위험 곡선이 나타나는 이유를 설명하는 것.

제안 방법

• 모집단 공분산 연산자의 고유공간의 필터링(filtration)에 제한된 랜덤 커널 행렬의 스펙트럼 성질을 분석한다.
• 커널 행렬의 구조와 고유분해를 이용하여 일반화 위험의 상한을 유도한다.
• 커널의 스펙트럼 감쇠와 차원 스케일링 d = n^α 간의 상호작용을 연구한다.
• 고유공간의 필터링을 활용하여 위험을 분해하고 다양한 주파수 성분의 기여를 분리한다.
• 광범위하게 초기화된 신경망에서 경사 하강 흐름에 적용하여, 커널 등가성을 통해 최소노름 보간자와 연결한다.
• 이론적 상한과 실증적 검증을 통해 위험의 예측된 피크를 확인한다.

실험 결과

연구 질문

• RQ1 α ∈ (0,1)에 대해 표본 크기와 입력 차원 스케일링 d = n^α에 따라 RKHS 내 최소노름 보간자의 일반화 위험은 어떻게 행동하는가?
• RQ2 왜 최소노름 보간자는 고차원 환경에서 비단조화적이고 다중 하강적인 위험 곡선을 보이는가?
• RQ3 과다 매개변수화된 영역에서 위험 행동을 지배하는 커널 행렬의 스펙트럼 성질은 무엇인가?
• RQ4 이론적 위험 상한은 시뮬레이션 또는 실제 데이터에서의 실증 관측과 어떻게 비교되는가?

주요 결과

• α ∈ (0,1)에 대해 d = n^α의 다양한 스케일링에서 RKHS 내 최소노름 보간자의 위험은 다중 하강 형태를 보인다.
• 실증 결과는 이론적 예측과 일치하는 피크를 보이는 비단조화적 위험 곡선이 존재함을 확인한다.
• 커널 행렬의 스펙트럼 구조, 특히 모집단 공분산 연산자의 고유공간에 제한된 부분이 위험 행동을 지배한다.
• 경사 하강 흐름을 통해 훈련된 과다 매개변수화된 신경망에 대해 새로운 일반화 보장을 제공하며, 이는 관련 RKHS 내 최소노름 보간자로 수렴한다.
• 유도된 위험 상한은 비단조화적이며, 커널 고유분해 감쇠와 차원 스케일링 간의 상호작용에 따라 결정된다.
• 경사 하강 흐름의 커널 등가성을 통해 광범위한 신경망으로의 확장이 가능하며, 이는 그들의 일반화 성질에 대한 새로운 통찰을 제공한다.