[논문 리뷰] Asymptotic Confidence Sets for General Nonparametric Regression and Classification by Regularized Kernel Methods

Robert Hable|ERef Bayreuth (University of Bayreuth)|2012. 03. 20.

Numerical methods in inverse problems참고 문헌 19인용 수 3

한 줄 요약

이 논문은 보정된 커널 방법(예: 서포트 벡터 머신 및 최소제곱 서포트 벡터 회귀)에서 유도된 일반적인 비모수 기능에 대해 渐近적으로 타당한 신뢰집합을 수립한다. 추정기의 渐近 정규성과 그 한계 분산-공분산 행렬에 대한 강한 일致 추정기의 유도를 통해, 정규화된 해의 점별 값, 기울기, 적분, 노름과 같은 기능에 대한 타당한 추론이 가능해진다.

ABSTRACT

Regularized kernel methods such as, e.g., support vector machines and least-squares support vector regression constitute an important class of standard learning algorithms in machine learning. Theoretical investigations concerning asymptotic properties have manly focused on rates of convergence during the last years but there are only very few and limited (asymptotic) results on statistical inference so far. As this is a serious limitation for their use in mathematical statistics, the goal of the article is to fill this gap. Based on asymptotic normality of many of these methods, the article derives a strongly consistent estimator for the unknown covariance matrix of the limiting normal distribution. In this way, we obtain asymptotically correct confidence sets for $ψ(f_{P,λ_0})$ where $f_{P,λ_0}$ denotes the minimizer of the regularized risk in the reproducing kernel Hilbert space $H$ and $ψ:H ightarrow\mathds{R}^m$ is any Hadamard-differentiable functional. Applications include (multivariate) pointwise confidence sets for values of $f_{P,λ_0}$ and confidence sets for gradients, integrals, and norms.

연구 동기 및 목표

• 보정된 커널 방법에 대한 통계적 추론 도구의 부족을 해결하기 위해.
• 재생 커널 힐베르트 공간에서 정규화된 위험의 최소화자에 대한 기능에 대해 渐近적으로 타당한 신뢰집합을 개발하기 위해.
• 추정기의 한계 정규분포의 점차적 공분산 행렬에 대한 일치 추정기 제공을 위해.
• 점별 값, 기울기, 적분, 학습된 함수의 노름과 같은 광범위한 기능 클래스에 대한 추론을 가능하게 하기 위해.

제안 방법

• 이전 연구에서 확립된 보정된 커널 추정기의 渐近 정규성(예: [10, 정리 3.1])을 활용하여 스케일된 추정기의 약한 수렴을 가우시안 과정으로 도출한다.
• 함수적 델타 방법 원리를 적용하여, 임의의 하다르드-미분 가능한 기능 ψ:H→ℝ^m에 대해 약한 수렴을 정규 분포의 극한 분포로 변환한다.
• 손실 함수의 이阶 도함수와 커널 행렬을 포함하는 선형 시스템을 풀어, 점차적 공분산 행렬 Σ_P에 대한 일치 추정기를 도출한다.
• 레프레젠터 정리 프레임워크 내에서 해의 쌍대 표현을 활용하여, 학습 데이터 포인트에서 평가된 커널 함수의 선형 조합으로 해를 표현한다.
• 학습 특징 공간의 기저와 커널 행렬, 손실 함수의 헤시안을 포함하는 행렬 역행렬을 통해 공분산 추정기를 구성한다.
• 수치적 안정성과 공분산 추정 절차에서 역행렬의 존재를 보장하기 위해 특징 벡터의 최대 선형 독립 부분집합에 대한 투영을 수행한다.

실험 결과

연구 질문

• RQ1 비모수 설정에서 보정된 커널 추정기의 일반 기능에 대해 渐近적 신뢰집합을 구성할 수 있는가?
• RQ2 보정된 커널 추정기의 한계 정규분포의 점차적 공분산 행렬에 대한 일치 추정기를 도출할 수 있는가?
• RQ3 학습된 함수의 점별 값, 기울기, 적분, 노름과 같은 기능에 대해 어떻게 신뢰집합을 구성할 수 있는가?
• RQ4 일반적인 보정된 커널 방법에서 공분산 추정기의 일치성을 보장하는 조건은 무엇인가?

주요 결과

• 보정된 커널 추정기의 점차적 공분산 행렬에 대한 강한 일치 추정기를 도출하여, 타당한 점차적 추론을 가능하게 한다.
• 이 방법은 정규화된 해의 최소화자 f_{P,λ₀}에 대한 점별 값, 기울기, 적분, 노름과 같은 광범위한 기능 클래스에 대한 신뢰집합을 지원한다.
• 공분산 추정기는 커널 행렬, 손실 함수의 헤시안, 학습 특징 공간의 기저를 포함하는 쌍대 표현을 통해 구성된다.
• 정규화된 커널 추정기가 점차적으로 정규분포를 따르고, 기능 ψ가 하다르드-미분 가능하다는 가정 하에 공분산 추정기의 일치성이 확립된다.
• 이 방법은 서포트 벡터 머신 및 최소제곱 서포트 벡터 회귀와 같은 표준 보정된 커널 방법에 적용 가능하다.
• 이 방법은 진정한 정규화된 해 f_{P,λ₀}에 대한 추론을 가능하게 하지만, 비모수 설정에서 균일 수렴 결과가 부족하여 정규화되지 않은 최소화자에 대한 추론은 불가능하다.