[논문 리뷰] Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2021. 06. 15.

Neural Networks and Applications참고 문헌 129인용 수 12

한 줄 요약

이 튜토리얼 및 서베이 논문은 기계학습에서 커널 방법에 대한 종합적인 개요를 제공하며, 재생 커널 힐버트 공간(RKHS), 머서의 정리, 고유함수, 그리고 대규모 기계학습에서 커널 근사에 대한 니스트롬 방법을 중심으로 다룹니다. 기능해석학에서 커널의 이론적 기초와 커널 기반 학습 알고리즘의 실용적 응용을 설명하며, 주요 기여로는 대규모 기계학습에서 스케일이 가능한 커널 근사에 대한 니스트롬 방법에 대한 상세한 다루기가 포함되어 있습니다.

ABSTRACT

This is a tutorial and survey paper on kernels, kernel methods, and related fields. We start with reviewing the history of kernels in functional analysis and machine learning. Then, Mercer kernel, Hilbert and Banach spaces, Reproducing Kernel Hilbert Space (RKHS), Mercer's theorem and its proof, frequently used kernels, kernel construction from distance metric, important classes of kernels (including bounded, integrally positive definite, universal, stationary, and characteristic kernels), kernel centering and normalization, and eigenfunctions are explained in detail. Then, we introduce types of use of kernels in machine learning including kernel methods (such as kernel support vector machines), kernel learning by semi-definite programming, Hilbert-Schmidt independence criterion, maximum mean discrepancy, kernel mean embedding, and kernel dimensionality reduction. We also cover rank and factorization of kernel matrix as well as the approximation of eigenfunctions and kernels using the Nystr{ö}m method. This paper can be useful for various fields of science including machine learning, dimensionality reduction, functional analysis in mathematics, and mathematical physics in quantum mechanics.

연구 동기 및 목표

• 기계학습에서 커널 방법의 수학적 기초에 대한 통합적이고 접근 가능한 튜토리얼을 제공하기 위해.
• 재생 커널 힐버트 공간(RKHS)과 머서의 정리가 커널 기반 학습을 가능하게 하는 역할를 명확히 하기 위해.
• 서포트 벡터 머신(SVM), 커널 주성분 분석(PCA), 그리고 독립성 검정과 같은 다양한 기계학습 응용 분야에서 커널의 사용를 조사하기 위해.
• 니스트롬 방법을 대규모 커널 행렬에 대한 스케일이 가능한 근사 기법으로 설명하기 위해.
• 기능해석학의 이론적 개념과 현대 기계학습에서의 실용적 구현을 연결하기 위해.

제안 방법

• 힐베르트와 슈미트의 적분방정식 연구에서 시작하여 머서의 정리와 RKHS 이론으로 이르는 커널의 역사적 발전을 체계적으로 검토합니다.
• 머서 커널의 구성과 그 성질(유계성, 보편성, 특성 커널 클래스 포함)을 설명합니다.
• 고유함수의 역할을 커널 연산자와 연결하고, 표현 정리(representer theorem)를 통해 커널 방법과의 연관성을 설명합니다.
• 니스트롬 방법을 데이터 포인트의 부분집합(지표점)을 사용하여 전체 커널 행렬을 근사하는 저랭크 근사 기법으로 도입합니다.
• 블록 행렬 분해를 사용하여 니스트롬 근사 공식을 유도하고, 이를 커널 행렬 완성과 동치임을 보입니다.
• 근사 정확도를 향상시키면서도 계산 효율성을 유지하기 위해 지표점 선택을 위한 최적화 및 샘플링 전략을 논의합니다.

실험 결과

연구 질문

• RQ1 재생 커널 힐버트 공간(RKHS)은 기계학습에서 커널 방법의 이론적 기초를 어떻게 제공합니까?
• RQ2 머서의 정리가 커널 방법의 수학적 정당성을 어떻게 보장하는지, 그리고 이를 양의 정부호 커널과 어떻게 연결합니까?
• RQ3 커널 연산자의 고유함수는 RKHS에서 데이터의 구조를 이해하는 데 어떻게 활용될 수 있습니까?
• RQ4 니스트롬 방법은 대규모 데이터 세트에 대한 스케일이 가능한 커널 근사를 어떻게 가능하게 합니까?
• RQ5 니스트롬 기반 커널 근사에 있어서 지표점 선택의 이론적 및 실용적 트레이드오프는 무엇입니까?

주요 결과

• 머서의 정리는 양의 정부호 커널을 힐베르트 공간 내의 내적 형태로 표현할 수 있도록 엄밀한 기초를 제공하며, 이는 커널 방법의 사용을 가능하게 합니다.
• 니스트롬 방법은 데이터 포인트의 부분집합(지표점)을 샘플링하여 커널 행렬의 정확한 저랭크 근사를 달성하며, 커널 행렬의 랭크가 지표점 수 이하일 경우 정확성이 보장됩니다.
• 많은 실세계 데이터 세트에서 매니폴드 가설에 따라 커널 행렬은 낮은 랭크를 가지므로, 니스트롬 방법은 실용적으로 특히 효과적입니다.
• 니스트롬 방법의 근사 오차는 경계를 두르며, 예측 가능한 지표점 선택 전략(예: 그레디 또는 희소 매니폴드 기반 샘플링)을 통해 최소화될 수 있습니다.
• 니스트롬 방법은 다차원 척도법(MDS)과 국소선형 임베딩(LLE)과 같은 지표점 기반 스펙트럼 임베딩 기법과 수학적으로 동치입니다.
• 서포트 벡터 머신(SVM), 가우시안 프로세스, 커널 주성분 분석(PCA)과 같은 커널 방법들은 모두 RKHS 프레임워크에 기반하며, 표현 정리에 의해 유일한 해가 보장됩니다.