[논문 리뷰] Interpolation and Learning with Scale Dependent Kernels

Nicolò Pagliana, Alessandro Rudi외 2명|arXiv (Cornell University)|2020. 06. 17.

Statistical Methods and Inference참고 문헌 34인용 수 5

한 줄 요약

이 논문은 릿지 없는 최소 제곱 회귀에서 척도에 따라 변하는 커널 추정기의 성질을 분석하며, 커널 척도가 조건 수를 통해 안정성을 제어함을 보여준다. 작은 표본 크기에서는 최적의 척도를 통해 오차가 감소하고, 큰 표본 크기에서는 더 이상 오차 감소가 없음에도 불구하고 분산은 유한하게 유지되며, 이는 데이터 차원과 표본 크기에 의해 지배되는 편향과 분산 간의 상충관계를 드러낸다.

ABSTRACT

We study the learning properties of nonparametric ridge-less least squares. In particular, we consider the common case of estimators defined by scale dependent kernels, and focus on the role of the scale. These estimators interpolate the data and the scale can be shown to control their stability through the condition number. Our analysis shows that are different regimes depending on the interplay between the sample size, its dimensions, and the smoothness of the problem. Indeed, when the sample size is less than exponential in the data dimension, then the scale can be chosen so that the learning error decreases. As the sample size becomes larger, the overall error stop decreasing but interestingly the scale can be chosen in such a way that the variance due to noise remains bounded. Our analysis combines, probabilistic results with a number of analytic techniques from interpolation theory.

연구 동기 및 목표

• 커널 방법에서 척도 파라미터가 릿지 없는 최소 제곱 회귀에서 학습 성능에 미치는 영향을 이해하는 것.
• 표본 크기, 데이터 차원, 부드러움 간의 상호작용이 일반화 오차를 결정하는 방식을 분석하는 것.
• 표본 크기와 데이터 차원 간의 관계에 기반한 별개의 학습 영역을 식별하는 것.
• 특히 고차원 설정에서 척도 파라미터를 조정하여 편향과 분산을 동시에 제어할 수 있음을 보여주는 것.

제안 방법

• 스케일에 따라 변하는 커널을 갖는 커널 추정기의 성질을 분석하기 위해 확률적 기법과 보간 이론의 분석적 도구를 결합한 분석을 수행한다.
• 안정성의 척도로 커널 행렬의 조건 수를 사용하며, 이는 척도 파라미터에 의존한다.
• 기본 함수의 부드러움, 표본 크기, 차원에 따라 학습 오차와 분산의 행동을 분석한다.
• 커널 행렬의 고유구조와 척도 파라미터 간의 상호작용을 고려하여 일반화 오차에 대한 이론적 경계를 유도한다.
• 특히 표본 크기가 차원에 대해 지수적 이하일 때의 고차원 영역에서 渐近적 분석을 수행한다.
• 핵심 식은 K(x_i, x_j) = k_σ(x_i, x_j)로 구성된 커널 행렬 K이며, 여기서 σ는 척도를 제어하고 k_σ는 부드럽고 원형 기반 함수이다.

실험 결과

연구 질문

• RQ1 커널 추정기의 척도 파라미터는 릿지 없는 최소 제곱 회귀에서 안정성과 일반화 오차에 어떻게 영향을 미치는가?
• RQ2 표본 크기가 데이터 차원에 비해 작을 경우 학습 오차는 어떻게 변화하는가?
• RQ3 표본 크기가 커질 경우, 노이즈에 의한 분산을 유한하게 유지하기 위해 척도를 조정할 수 있는가?
• RQ4 목표 함수의 부드러움이 척도와 차원과 어떻게 상호작용하여 학습 성능에 영향을 미치는가?
• RQ5 표본 크기, 차원, 척도 간의 상호작용에서 나타나는 별개의 학습 영역은 무엇인가?

주요 결과

• 표본 크기가 데이터 차원에 대해 지수적 이하일 경우, 적절한 척도 파라미터를 선택함으로써 학습 오차를 줄일 수 있다.
• 표본 크기가 지수적 이하의 임계값을 초과하면 학습 오차는 더 이상 감소하지 않으며, 이는 포화점에 도달했음을 시사한다.
• 오차가 더 이상 감소하지 않더라도, 척도를 적절히 선택함으로써 노이즈에 의한 분산을 유한하게 유지할 수 있다.
• 조건 수는 척도에 따라 변하는 커널 행렬의 특성으로, 추정기의 안정성을 제어한다.
• 분석은 편향 감소와 분산 제어 사이의 근본적인 상충관계를 드러내며, 이는 척도와 데이터 차원에 의해 매개된다.
• 결과는 확률적 경계와 보간 이론의 조합을 통해 유도되었으며, 커널 학습의 비점근적 이해를 제공한다.