[論文レビュー] Matérn Gaussian processes on Riemannian manifolds

Viacheslav Borovitskiy, Alexander Terenin+2 more|arXiv (Cornell University)|Jun 17, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用数 25

ひとこと要約

本稿では、ラプラシアン–ベルトラミ作用素の固有関数および固有値を用いて、コンパクトなリーマン多様体上でのマトérnおよび二乗指数ガウス過程カーネルを構成的に計算するスペクトル的手法を提案する。カーネルを多様体のスペクトル分解に基づいて表現することにより、従来のSPDEに基づく定式化の限界を克服し、標準的手法（例：誘導点法）を用いたスケーラブルな学習が可能になる。

ABSTRACT

Gaussian processes are an effective model class for learning unknown functions, particularly in settings where accurately representing predictive uncertainty is of key importance. Motivated by applications in the physical sciences, the widely-used Matérn class of Gaussian processes has recently been generalized to model functions whose domains are Riemannian manifolds, by re-expressing said processes as solutions of stochastic partial differential equations. In this work, we propose techniques for computing the kernels of these processes on compact Riemannian manifolds via spectral theory of the Laplace-Beltrami operator in a fully constructive manner, thereby allowing them to be trained via standard scalable techniques such as inducing point methods. We also extend the generalization from the Matérn to the widely-used squared exponential Gaussian process. By allowing Riemannian Matérn Gaussian processes to be trained using well-understood techniques, our work enables their use in mini-batch, online, and non-conjugate settings, and makes them more accessible to machine learning practitioners.

研究の動機と目的

• 数値的複雑性のため従来の手法が不適切なリーマン多様体上でのガウス過程の実用的学習を可能にすること。
• ラプラシアン–ベルトラミ作用素のスペクトル理論を用いて、マトérnおよび二乗指数カーネルをリーマン領域に一般化すること。
• ミニバッチ、オンライン、非共役推論をサポートする完全に構成的で計算的に扱いやすいフレームワークを提供すること。
• 理論的SPDE定式化とリーマン多様体上での実用的機械学習応用の間のギャップを埋めること。
• スパース変分推論やフーリエ特徴量といった既存のGPツールを、リーマン領域に拡張すること。

提案手法

• ラプラシアン–ベルトラミ作用素のスペクトル分解を用いて、コンパクトなリーマン多様体上でのマトérnGPのカーネルを導出する。
• カーネルを固有関数および固有値の和として表現する：$ k_{\nu}(x,x') = \frac{\sigma^2}{C_\nu} \sum_{n=0}^{\infty} \left( \frac{2\nu}{\kappa^2} + \lambda_n \right)^{-\nu - \frac{d}{2}} f_n(x)f_n(x') $。
• 極限 $ \nu \to \infty $ を用いて、二乗指数カーネルへの拡張を実施し、$ k_{\infty}(x,x') = \frac{\sigma^2}{C_\infty} \sum_{n=0}^{\infty} e^{-\frac{\kappa^2}{2}\lambda_n} f_n(x)f_n(x') $ を得る。
• 関連する微分作用素の有界性および可逆性を確立し、解の存在と一意性を保証する。
• SPDEに基づくマトérnGP定式化をスペクトル的観点から再解釈し、数値的PDE解法を必要とせずに直接計算可能にする。
• スパース変分推論や誘導点近似などのスケーラブルなGP手法との互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 スペクトル理論を用いて、リーマン多様体上でのマトérnガウス過程を明示的に構成可能か？
• RQ2 コンパクトなリーマン多様体上でのマトérnGPカーネルを閉形式で計算可能か？
• RQ3 SPDEに基づくマトérnGP定式化を、スケーラブルな推論を可能にするスペクトル表現に変換可能か？
• RQ4 スペクトルアプローチは、多様体上での二乗指数カーネルを極限ケースとしてサポート可能か？
• RQ5 このスペクトルフレームワークを介して、標準的なスケーラブルなGP技術をリーマン多様体上のマトérnGPに適用可能か？

主な発見

• コンパクトなリーマン多様体上でのマトérnGPカーネルは、$ k_{\nu}(x,x') = \frac{\sigma^2}{C_\nu} \sum_{n=0}^{\infty} \left( \frac{2\nu}{\kappa^2} + \lambda_n \right)^{-\nu - \frac{d}{2}} f_n(x)f_n(x') $ として明示的に与えられる。ここで $ \lambda_n $ および $ f_n $ はラプラシアン–ベルトラミ作用素の固有値および固有関数である。
• 同じ多様体上での二乗指数カーネルは極限 $ \nu \to \infty $ として得られ、$ k_{\infty}(x,x') = \frac{\sigma^2}{C_\infty} \sum_{n=0}^{\infty} e^{-\frac{\kappa^2}{2}\lambda_n} f_n(x)f_n(x') $ を得る。
• 提案されたカーネル定式化により、GPが適切に定義され、関連する微分作用素が有界かつ可逆であることが保証され、解の存在と一意性が保証される。
• スペクトル表現により、スパース変分推論や誘導点近似などのスケーラブルなGP手法との直接統合が可能になる。
• このフレームワークにより、従来のSPDEベースのアプローチでは不可能だった、リーマン多様体上でのマトérnGPのミニバッチ、オンライン、非共役学習が可能になる。
• トーラスや球面などの多様体上での標準的なGP推論パイプラインとの整合性を示す例を通じて、手法の妥当性が検証された。