[논문 리뷰] Matérn Gaussian processes on Riemannian manifolds

Viacheslav Borovitskiy, Alexander Terenin외 2명|arXiv (Cornell University)|2020. 06. 17.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 25

한 줄 요약

이 논문은 라플라스–베르트라미 연산자의 고유함수와 고유값을 사용하여 컴act 리만다이언 군면에서 Matérn 및 제곱 지수 가우시안 프로세스 커널을 계산하기 위한 구축형 스펙트럼 방법을 제안한다. 커널을 다양체의 스펙트럼 분해로 표현함으로써, 기존의 SPDE 기반 수식의 제약을 극복하고 표준 기법(예: 유도점 방법)을 통한 확장 가능한 훈련을 가능하게 한다.

ABSTRACT

Gaussian processes are an effective model class for learning unknown functions, particularly in settings where accurately representing predictive uncertainty is of key importance. Motivated by applications in the physical sciences, the widely-used Matérn class of Gaussian processes has recently been generalized to model functions whose domains are Riemannian manifolds, by re-expressing said processes as solutions of stochastic partial differential equations. In this work, we propose techniques for computing the kernels of these processes on compact Riemannian manifolds via spectral theory of the Laplace-Beltrami operator in a fully constructive manner, thereby allowing them to be trained via standard scalable techniques such as inducing point methods. We also extend the generalization from the Matérn to the widely-used squared exponential Gaussian process. By allowing Riemannian Matérn Gaussian processes to be trained using well-understood techniques, our work enables their use in mini-batch, online, and non-conjugate settings, and makes them more accessible to machine learning practitioners.

연구 동기 및 목표

• 기존 방법이 수치적 복잡성으로 인해 비현실적인 컴팩트 리만다이언 군면에서 가우시안 프로세스의 실용적 훈련을 가능하게 하기 위해.
• 라플라스–베르트라미 연산자의 스펙트럼 이론을 사용하여 Matérn 및 제곱 지수 커널을 리만다이언 도메인으로 일반화하기 위해.
• 최소한의 계산 복잡도를 가지며 미니배치, 온라인, 비공액 추론을 지원하는 완전히 구축형이고 계산적으로 다룰 수 있는 프레임워크를 제공하기 위해.
• 이론적 SPDE 기반 Matérn GP 수식과 리만다이언 다양체에서의 실용적 기계학습 응용 간 격차를 메우기 위해.
• 기존 GP 도구(예: 희소 변분 추론 및 푸리에 특징)를 리만다이언 도메인으로 확장하기 위해.

제안 방법

• 라플라스–베르트라미 연산자의 스펙트럼 분해를 사용하여 컴팩트 리만다이언 군면에서 Matérn GP의 커널을 유도한다.
• 커널을 고유함수와 고유값의 합으로 표현한다: $ k_{\nu}(x,x') = \frac{\sigma^2}{C_\nu} \sum_{n=0}^{\infty} \left( \frac{2\nu}{\kappa^2} + \lambda_n \right)^{-\nu - \frac{d}{2}} f_n(x)f_n(x') $.
• 제한 $ \nu \to \infty $를 통해 프레임워크를 제곱 지수 커널으로 확장하여 $ k_{\infty}(x,x') = \frac{\sigma^2}{C_\infty} \sum_{n=0}^{\infty} e^{-\frac{\kappa^2}{2}\lambda_n} f_n(x)f_n(x') $ 를 도출한다.
• 관련 미분 연산자가 유계이자 가역적임을 확립하여 해의 존재성과 유일성을 보장한다.
• SPDE 기반 Matérn GP 수식을 스펙트럼 형태로 재해석함으로써, 수치적 PDE 해법 없이 직접 계산이 가능하게 한다.
• 희소 변분 추론 및 유도점 근사와 같은 확장 가능한 GP 방법과의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 스펙트럼 이론을 사용하여 리만다이언 군면에서 Matérn 가우시안 프로세스를 명시적으로 구성할 수 있는가?
• RQ2 컴팩트 리만다이언 군면에서 Matérn GP의 커널을 닫힌 형태로 어떻게 계산할 수 있는가?
• RQ3 SPDE 기반 Matérn GP 수식을 확장 가능한 추론을 가능하게 하는 스펙트럼 표현으로 변환할 수 있는가?
• RQ4 스펙트럼 접근법은 다양체에서 제곱 지수 커널을 한계 경우로 지원할 수 있는가?
• RQ5 이 스펙트럼 프레임워크를 통해 표준적인 확장 가능한 GP 기법을 리만다이언 Matérn GP에 적용할 수 있는가?

주요 결과

• 컴팩트 리만다이언 군면에서 Matérn GP 커널은 $ k_{\nu}(x,x') = \frac{\sigma^2}{C_\nu} \sum_{n=0}^{\infty} \left( \frac{2\nu}{\kappa^2} + \lambda_n \right)^{-\nu - \frac{d}{2}} f_n(x)f_n(x') $ 로 명시적으로 주어지며, 여기서 $ \lambda_n $ 과 $ f_n $ 은 라플라스–베르트라미 연산자의 고유값과 고유함수이다.
• 동일한 다양체에서 제곱 지수 커널은 한계 $ \nu \to \infty $ 로부터 유도되며, $ k_{\infty}(x,x') = \frac{\sigma^2}{C_\infty} \sum_{n=0}^{\infty} e^{-\frac{\kappa^2}{2}\lambda_n} f_n(x)f_n(x') $ 를 얻는다.
• 제안된 커널 수식은 GP가 잘 정의되어 있으며, 관련된 미분 연산자가 유계이자 가역적이므로 해의 존재성과 유일성이 보장된다.
• 스펙트럼 표현은 희소 변분 추론 및 유도점 근사와 같은 확장 가능한 GP 방법과 직접 통합이 가능하다.
• 이 프레임워크는 이전에 SPDE 기반 접근법에서 비현실적이었던 리만다이언 Matérn GP의 미니배치, 온라인, 비공액 훈련을 가능하게 한다.
• 토러스 및 구와 같은 다양체에서 표준 GP 추론 파ipeline과의 호환성을 보여주는 예시를 통해 방법의 유효성을 검증하였다.