[논문 리뷰] Gaussian Processes and Kernel Methods: A Review on Connections and Equivalences

Motonobu Kanagawa, Philipp Hennig외 2명|arXiv (Cornell University)|2018. 07. 06.

Gaussian Processes and Bayesian Inference참고 문헌 70인용 수 193

한 줄 요약

본 논문은 가우시안 프로세스(GP) 베이지안 방법과 재현 커널 힐베르트 공간(RKHS) 커널 방법 사이의 깊은 연관성을 조사하고, 결과의 교차 분야 이전을 촉진하기 위한 등가성과 차이점을 명확히 한다.

ABSTRACT

This paper is an attempt to bridge the conceptual gaps between researchers working on the two widely used approaches based on positive definite kernels: Bayesian learning or inference using Gaussian processes on the one side, and frequentist kernel methods based on reproducing kernel Hilbert spaces on the other. It is widely known in machine learning that these two formalisms are closely related; for instance, the estimator of kernel ridge regression is identical to the posterior mean of Gaussian process regression. However, they have been studied and developed almost independently by two essentially separate communities, and this makes it difficult to seamlessly transfer results between them. Our aim is to overcome this potential difficulty. To this end, we review several old and new results and concepts from either side, and juxtapose algorithmic quantities from each framework to highlight close similarities. We also provide discussions on subtle philosophical and theoretical differences between the two approaches.

연구 동기 및 목표

• 베이지안 GP 추론과 빈도주의 RKHS 커널 방법 간의 개념적 차이를 연결한다.
• GP 사후 양이 커널 방법의 양에 대응하는 시점을 명확히 하고, 사후 분산을 빈도주의 관점에서 해석한다.
• GP 사전과 RKHS 간 가설 공간의 차이가 무엇인지 논의하고, 이것이 모델링 및 분석에 어떤 시사점을 갖는지 설명한다.
• 수렴, 사후 수축, 적분 변환에서의 연관성을 제시하여 결과의 교차 분야 이전을 가능하게 한다.
• 두 분야 중 어느 한 쪽에 새로 진입하는 연구자들을 위한 교육적 개요를 제공한다.

제안 방법

• GP와 RKHS 프레임워크의 알고리즘적 양을 검토하고 대조하여 유사점을 강조한다.
• GP 사후 평균이 커널 리지 회귀 추정치와 일치하는 등과 같은 등가성을 설명한다.
• 사후 분산을 RKHS의 최악의 경우 오차로 보이고, 잡음/가법적 정규화의 등가성에 대해 논의한다.
• 스펙트럴 표현(Mercer, Karhunen–Loève)을 사용하여 GP 샘플 경로와 RKHS 함수들을 비교한다.
• GP 기반 분석을 RKHS 기반 분석에 연결하여 수렴 속도와 수축 결과를 논의한다.

실험 결과

연구 질문

• RQ1 추정치와 규제화 측면에서 가우시안 프로세스 회귀와 커널 리지 회귀는 어떻게 동등한가?
• RQ2 GP 사후 분산을 RKHS 기반 회귀의 최악의 경우 오차로 해석할 수 있는 의미는 어떤 것인가?
• RQ3 GP 샘플 경로와 RKHS 가설 공간 사이의 정확한 관계는 무엇이며, 특히 샘플 경로와 매끄러움과 관련하여?
• RQ4 GP 회귀의 수렴 및 사후 수축 속도는 커널 리지 회귀의 속도와 어떻게 관련되는가?
• RQ5 커널 평균 임베딩 및 HSIC와 같은 적분 변환은 GP와 RKHS 관점을 어떻게 연결하는가?

주요 결과

• 같은 커널을 사용할 때 GP 회귀의 사후 평균은 커널 리지 회귀 추정치와 일치한다.
• GP 회귀의 사후 분산은 RKHS의 최악의 경우 오차에 대응하며 평균-최악 사례 분석을 연결한다.
• 커널 리지 회귀의 정규화와 GP 회귀의 가우시안 잡음 추가는 매끄럼화와 편향-분산 트레이드오프에서 유사한 역할을 한다.
• GP 샘플 경로는 거의 확률적으로 RKHS 밖에 존재하지만 RKHS와 관련된 더 큰 함수 공간에 위치하여 프레임워크 간 통찰을 가능하게 한다.
• GP 회귀의 수렴 속도는 RKHS 기반 회귀의 결과에서 조금 더 큰 공간의 근사 임베딩을 고려함으로써 되찾을 수 있으며, 잡음 분산의 거동은 정규화 일정과 연결된다.