[논문 리뷰] Kernel Partial Least Squares is Universally Consistent

Gilles Blanchard, Nicole Kraemer|arXiv (Cornell University)|2009. 02. 25.

Neural Networks and Applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 커널 부분최소제곱법(KPLS) 회귀의 보편적 일致성을 입증하며, PLS 성분 수에 대한 데이터에 의존하는 멈춤 규칙을 수립한다. PLS와 조기 정지가 적용된 공액상승 알고리즘 사이의 등가성에 기반하여, 저자들은 두 가지 경험적 멈춤 규칙—추정 오차 모니터링 기반 규칙과 조건수 추정 기반 규칙—이 커널이 보편적일 경우, 진짜 회귀 함수에 대한 사전 지식 없이도 보편적으로 일치하는 추정기를 도출함을 보여준다.

ABSTRACT

We prove the statistical consistency of kernel Partial Least Squares Regression applied to a bounded regression learning problem on a reproducing kernel Hilbert space. Partial Least Squares stands out of well-known classical approaches as e.g. Ridge Regression or Principal Components Regression, as it is not defined as the solution of a global cost minimization procedure over a fixed model nor is it a linear estimator. Instead, approximate solutions are constructed by projections onto a nested set of data-dependent subspaces. To prove consistency, we exploit the known fact that Partial Least Squares is equivalent to the conjugate gradient algorithm in combination with early stopping. The choice of the stopping rule (number of iterations) is a crucial point. We study two empirical stopping rules. The first one monitors the estimation error in each iteration step of Partial Least Squares, and the second one estimates the empirical complexity in terms of a condition number. Both stopping rules lead to universally consistent estimators provided the kernel is universal.

연구 동기 및 목표

• 무한차원 설정에서 커널 부분최소제곱법(KPLS) 회귀의 보편적 일치성을 확립하기 위해.
• Ridge 회귀나 PCR처럼 전역 최소화자나 선형 추정기로 작동하지 않는 PLS에 대한 이론적 일치 결과가 부족한 문제를 해결하기 위해.
• 진짜 회귀 함수에 대한 사전 지식 없이도 일치성을 보장하는 PLS 성분 수에 대한 멈춤 규칙을 개발하기 위해.
• KPLS를 통계적 역문제와 연결하기 위해 공액상승 방법과의 연결성을 활용하기 위해.
• 표준 선형 스펙트럼 방법과 달리 KPLS가 반응에 의존하는 필터 함수를 사용하므로, 새로운 이론적 도구가 필요하다는 점을 입증하기 위해.

제안 방법

• 정규방정식에 적용된 조기 정지가 있는 공액상승 알고리즘과 PLS 사이의 등가성을 활용한다.
• 모집단 공분산 오퍼레이터 $\bar{S}$ 와 모집단 교차공분산 $\bar{T}^*\bar{f}$ 를 사용해 KPLS의 모집단 버전을 정의한다.
• 두 가지 데이터 기반 멈춤 규칙을 적용한다: 각 반복에서 추정 오차를 모니터링하는 규칙과, 가짜 조건수를 통한 경험적 복잡도 추정 규칙.
• 농도 불등식과 행렬 노름의 경계를 사용하여 경험적 및 모집단 KPLS 해 사이의 차이를 통제한다.
• Borel-Cantelli 보조정리를 적용하여 표본 크기가 증가함에 따라 추정 오차가 거의 확실히 0으로 수렴함을 보여준다.
• 모집단 추정기의 수렴과 멈춤 규칙에 의한 추정 오차 통제를 조합하여 일치성을 확립한다.

실험 결과

연구 질문

• RQ1 커널과 데이터 분포에 대해 온건한 가정이 있을 경우, 커널 PLS는 보편적으로 일치하는가?
• RQ2 PLS 성분 수에 대한 데이터 기반 멈춤 규칙이 진짜 회귀 함수에 대한 사전 지식 없이도 일치성을 보장하는가?
• RQ3 PLS와 조기 정지가 적용된 공액상승 간의 등가성이 KPLS의 이론적 분석을 어떻게 가능하게 하는가?
• RQ4 조건수나 오차 모니터링과 같은 관측 가능한 양을 사용하여 경험적 및 모집단 KPLS 사이의 추정 오차를 경계로 삼을 수 있는가?
• RQ5 왜 표준 선형 스펙트럼 방법 결과가 KPLS에는 적용되지 않으며, 어떤 새로운 이론적 프레임워크가 필요한가?

주요 결과

• 커널이 보편적일 경우, 커널 PLS의 모집단 버전은 진짜 회귀 함수로 수렴한다.
• 적절한 멈춤 규칙이 선택된 경우, 경험적 및 모집단 KPLS 해 사이의 차이는 고확률로 $n^{-\gamma}$ 로 경계된다. 여기서 $\gamma > 0$ 이다.
• 추정 오차 모니터링 기반과 조건수 추정 기반의 두 멈춤 규칙이 커널이 보편적일 경우 보편적으로 일치하는 추정기를 도출한다.
• 조건수 추정 기반 멈춤 규칙은 표본 크기 $n \to \infty$ 일 때 반복 수 $m^{\prime}_{(n)}$ 가 거의 확실히 발산함을 보장하여 과소적합을 방지한다.
• 농도 불등식에 Borel-Cantelli 보조정리를 적용함으로써 추정 오차 경계가 큰 $n$ 에 대해 거의 확실히 성립한다.
• KPLS는 반응 변수에 대해 선형 추정기가 아니므로, 선형 스펙트럼 방법의 결과를 직접 적용할 수 없으며, 이는 새로운 이론적 도구의 필요성을 초래한다.