[논문 리뷰] Kernel regression, minimax rates and effective dimensionality: beyond the regular case

Gilles Blanchard, Nicole Mücke|arXiv (Cornell University)|2016. 11. 12.

Numerical methods in inverse problems참고 문헌 19인용 수 4

한 줄 요약

이 논문은 커널 공분산 연산자의 약한 고유값 감쇠 조건 하에서 커널 회귀의 최소최대 수렴 속도를 확립하며, 스펙트럼이 다항식적으로 감쇠하지 않을 경우에도 최적의 속도를 달성할 수 있음을 보여준다. 저자들은 고유값 감쇠에 기반한 새로운 효과적 차원 측정법을 도입하여, 고전적인 최소최대 속도를 분포에 종속되지 않는 설정으로 일반화한 날카른 하한을 도출한다.

ABSTRACT

We investigate if kernel regularization methods can achieve minimax convergence rates over a source condition regularity assumption for the target function. These questions have been considered in past literature, but only under specific assumptions about the decay, typically polynomial, of the spectrum of the the kernel mapping covariance operator. In the perspective of distribution-free results, we investigate this issue under much weaker assumption on the eigenvalue decay, allowing for more complex behavior that can reflect different structure of the data at different scales.

연구 동기 및 목표

• 커널 정규화 방법이 커널 공분산 연산자의 다항식 고유값 감쇠를 가정하지 않더라도 최소최대 수렴 속도를 달성할 수 있는지 확인하는 것.
• 샘플링 측도가 기준 측도에 의해 지배되지 않을 수 있는 분포에 종속되지 않는 설정으로 커널 회귀의 최소최대 이론을 확장하는 것.
• 내재 차원성 대신 고유값 감쇠에 기반한 새로운 개념을 통해 문제의 효과적 차원성을 특성화하는 것.
• 일반적인 스펙트럼 가정 하에서 학습 문제의 진정한 복잡성을 반영하는 추정 오차에 대한 날카운 하한을 도출하는 것.
• 고전적인 비모수 최소최대 이론과 고차원 또는 비표준 공간에서의 현대 커널 방법 사이의 격차를 메우는 것.

제안 방법

• 커널 공분산 연산자의 고유분해를 기반으로 한 새로운 규칙성 클래스 $ \Omega(\nu, r, R) = \{ f \in \mathcal{H} : \sum_i \mu_{\nu,i}^r f_i^2 \leq R^2 \} $ 를 제안한다.
• 고유값 감쇠에 기반한 함수 $ \mathcal{F}(x) = \# \{ i : \mu_{\nu,i} \geq x \} $ 를 통한 일반화된 효과적 차원성의 개념을 도입한다.
• 레 캠의 방법과 잘 분리된 유한 개의 분포 집합을 사용하여, 검정 논증을 통해 최소최대 하한을 유도한다.
• 규칙성 클래스 내에서 $ \mathcal{H} $-노름이 제어되고 $ B^s $-노름에서 분리된 $ N_{\varepsilon} $ 개의 함수를 구성한다.
• 데이터 분포 간의 쿨백-라이블러 발산을 통한 정보 이론적 비용을 제어하여 가설을 구별하는 데 필요한 비용을 조절한다.
• 가설 수의 로그 항을 포함한 페노 부등식의 변종을 적용하여 비점근적 추정 오차 하한을 유도한다.

실험 결과

연구 질문

• RQ1 커널 리지 회귀는 표준 다항식 감쇠 케이스를 초월하여 약한 고유값 감쇠 조건 하에서도 최소최대 속도를 달성할 수 있는가?
• RQ2 비규칙적인 설정에서 학습 문제의 효과적 차원성은 커널 공분산 연산자의 스펙트럼 구조에 어떻게 의존하는가?
• RQ3 고유값이 다항식보다 더 빠르게 감쇠할 경우 커널 회귀의 최적 수렴 속도는 무엇이며, 고전적인 소볼레프 유형 속도와 비교해보면 어떻게 되는가?
• RQ4 샘플링 측도가 기준 측도에 의해 지배된다는 가정 없이도 분포에 종속되지 않는 최소최대 하한을 도출할 수 있는가?
• RQ5 커널의 고유값에 의해 코딩된 데이터의 기하학적 성질이 커널 기반 학습의 기본 한계를 얼마나 결정하는가?

주요 결과

• 논문은 $ B^s $-노름 오차에 대해 $ \Omega\left( \left( \frac{\sigma^2}{n} \right)^{\frac{r+s}{r+s+1}} \right) $ 의 순서의 최소최대 하한을 확립하였으며, 온건한 조건 하에서 알려진 상한과 일치한다.
• 효과적 차원성은 함수 $ \mathcal{F}(x) = \# \{ i : \mu_{\nu,i} \geq x \} $ 로 특성화되며, 이는 다항식 감쇠가 아닌 경우에도 내재 차원성의 개념을 일반화한다.
• 충분히 작은 모든 $ \varepsilon > 0 $ 에 대해 $ N_{\varepsilon} \to \infty $ 이며 $ \varepsilon \to 0 $ 일 때 $ \log(N_{\varepsilon}) \geq \frac{1}{36} \mathcal{F}(2^{\nu_*} (\varepsilon/R)^{1/(r+s)}) $ 를 만족함으로써 가설 클래스의 풍부함을 보여준다.
• 데이터 분포 간의 쿨백-라이블러 발산은 $ \mathcal{K}(\mathbb{P}_i, \mathbb{P}_j) \leq C_{\nu_*,s} R^2 \sigma^{-2} (\varepsilon/R)^{(2r+1)/(r+s)} $ 로 유계이다. 이는 가설의 가려내기 용이성을 제어한다.
• 가정 $ \text{Eigen}^>(\nu_*) $ 하에서 하한이 성립하며, 이는 고유값 감쇠가 로그 척도에서 충분히 규칙적이라면 임의의 스펙트럼 감쇠를 허용한다.
• 유도된 최소최대 속도는 날카롭고 기존 상한과 일치하므로, 고유값이 다항식보다 더 빠르게 감쇠할 경우에도 커널 방법이 최적의 속도를 달성할 수 있음을 보여준다.