[논문 리뷰] Consistency of Interpolation with Laplace Kernels is a High-Dimensional Phenomenon

Alexander Rakhlin, Xiyu Zhai|arXiv (Cornell University)|2018. 12. 28.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 입력 차원 $d$ 가 고정된 경우, 어떤 커널 대역폭 선택이든(데이터 기반 선택 포함) 재생 핵 힐버트 공간(RKHS)에서 라플라스 커널을 사용한 최소 노름 보간이 일관성이 없음을 보여준다. 핵심 결과는 표본 크기가 증가함에 따라 추정 오차가 0에서 멀리 떨어져 있는 확률이 높아지며, 이는 일관성이 $d \asymp n$ 인 고차원 현상에만 국한됨을 시사한다. 이는 고차원 데이터셋에서 보간이 잘 일반화되는 이유를 설명한다. 고차원에서 성능이 좋고 저차원에서는 실패하는 현상의 기초를 제공한다.

ABSTRACT

We show that minimum-norm interpolation in the Reproducing Kernel Hilbert Space corresponding to the Laplace kernel is not consistent if input dimension is constant. The lower bound holds for any choice of kernel bandwidth, even if selected based on data. The result supports the empirical observation that minimum-norm interpolation (that is, exact fit to training data) in RKHS generalizes well for some high-dimensional datasets, but not for low-dimensional ones.

연구 동기 및 목표

• 라플라스 커널을 사용한 RKHS에서 최소 노름 보간이 저차원 입력 공간에서 일관성 있는지 조사하기 위해.
• 커널 곡률이나 기하학적 특성에 의한 암묵적 정규화가 고정된 $d$ 에서도 일반화를 가능하게 하는지 확인하기 위해.
• 모든 데이터 기반 커널 대역폭 선택 $c$ 에 대해 유효한 추정 오차의 하한을 설정하기 위해.
• 입력 차원 $d$ 가 보간 기반 방법의 일반화를 가능하게 하는 데서 수행하는 역할을 명확히 하기 위해.

제안 방법

• 라플라스 커널 $K_c(x,x') = c^d e^{-c\|x-x'\|}$ 와 관련된 RKHS 내 최소 노름 보간자 $\widehat{f}_c$ 를 분석한다.
• 학습 데이터 포인트 주변의 서로소 공역으로 나누어진 영역에 대해 국소화된 버블 함수 기반의 하한 구축 기법을 사용한다.
• RKHS 노름과 소볼레프 유형 노름 간의 노름 동치성에 의해 $L^2$ 추정 오차 $\mathbb{E}_X[(\widehat{f}_c(X) - f_0(X))^2]$ 의 하한을 유도한다.
• 표본 크기가 증가함에 따라 최소 거리 $r_i$ 가 충족하는 $\sum_i r_i^d \leq O_d(1)$ 를 만족하는 확률적 추론을 적용하여 오차의 정량화를 가능하게 한다.
• 제약된 RKHS 노름을 가진 보간 함수 $g_\alpha$ 를 구성하여 $\|\widehat{f}_c\|_{\mathcal{H}_c}$ 의 상한을 도출하고, 오차가 작하다면 모순이 발생함을 보여, 이를 통해 반증한다.
• 부드러운 컷오프 함수 $\eta$ 와 최근접 이웃 거리의 모멘트 한계를 포함한 조화 분석 및 기하 확률 기법을 활용한다.

실험 결과

연구 질문

• RQ1 입력 차원 $d$ 가 고정되고 유한한 경우, 라플라스 커널을 사용한 최소 노름 보간이 일관성 있는가?
• RQ2 모든 데이터 기반 커널 대역폭 선택 $c$ 가 저차원 환경에서 일관성을 복원할 수 있는가?
• RQ3 커널 리지 없는 회귀에서의 암묵적 정규화 메커니즘이 라플라스 커널과 같이 부드럽지 않은 커널로도 확장 가능한가?
• RQ4 고차원성이 보간 기반 추정기의 일반화를 가능하게 하는 데서 수행하는 근본적인 역할은 무엇인가?

주요 결과

• 모든 고정된 홀수 차원 $d$ 에 대해, 최소 노름 보간자 $\widehat{f}_c$ 의 추정 오차는 확률 적어도 $1 - O(1/\sqrt{n})$ 에서 $\mathbb{E}_X[(\widehat{f}_c(X) - f_0(X))^2] \geq \Omega_d(1)$ 를 만족한다.
• 이 하한은 $c > 0$ 의 모든 선택, 포함 데이터 기반 선택에도 적용되며, 고정된 $d$ 에서 일관성이 회피될 수 없음을 입증한다.
• 이 결과는 라플라스 커널을 사용한 보간 기반 방법의 일반화가 본질적으로 고차원 현상이며, 저차원에서는 그렇지 않음을 시사한다.
• 이 증명은 국소화된 함수 구성과 체적 분석에 기반한 RKHS 노름에 대한 기하학적 하한에 의존한다.
• 부드러운 버블 함수 보간자를 사용하여 $\|\widehat{f}_c\|_{\mathcal{H}_c}$ 의 상한을 도출함으로써 최소 노름이 너무 크지 않음을 보여주지만, 여전히 하한을 상쇄하기에는 부족하다.
• 분석은 일관성 실패의 원인이 열악한 대역폭 선택이 아니라 저차원 기하학의 본질적 특성에 있음을 확인한다.