[論文レビュー] Extrinsic Gaussian processes for regression and classification on manifolds

Lizhen Lin, Mu Niu+2 more|arXiv (Cornell University)|Jun 27, 2017

Morphological variations and asymmetry参考文献 25被引用数 3

ひとこと要約

本稿では、多様体をユークリッド空間に埋め込み、埋め込み像上でのカーネル構築により、多様体上での回帰および分類のための外部的ガウス過程（eGPs）を導入する。この手法は、ユークリッド空間におけるガウス過程の有益な理論的性質を引き継ぎ、コンパクトな多様体上の滑らかな関数に対して最適なレートで事後分布が収縮することを実現する。

ABSTRACT

Gaussian processes (GPs) are very widely used for modeling of unknown functions or surfaces in applications ranging from regression to classification to spatial processes. Although there is an increasingly vast literature on applications, methods, theory and algorithms related to GPs, the overwhelming majority of this literature focuses on the case in which the input domain corresponds to a Euclidean space. However, particularly in recent years with the increasing collection of complex data, it is commonly the case that the input domain does not have such a simple form. For example, it is common for the inputs to be restricted to a non-Euclidean manifold, a case which forms the motivation for this article. In particular, we propose a general extrinsic framework for GP modeling on manifolds, which relies on embedding of the manifold into a Euclidean space and then constructing extrinsic kernels for GPs on their images. These extrinsic Gaussian processes (eGPs) are used as prior distributions for unknown functions in Bayesian inferences. Our approach is simple and general, and we show that the eGPs inherit fine theoretical properties from GP models in Euclidean spaces. We consider applications of our models to regression and classification problems with predictors lying in a large class of manifolds, including spheres, planar shape spaces, a space of positive definite matrices, and Grassmannians. Our models can be readily used by practitioners in biological sciences for various regression and classification problems, such as disease diagnosis or detection. Our work is also likely to have impact in spatial statistics when spatial locations are on the sphere or other geometric spaces.

研究の動機と目的

• 多様体値の予測子を用いた回帰および分類のための実用的かつ理論的根拠を持つガウス過程モデルの不足を補う。
• 非ユークリッド多様体上でのガウス過程に適切な共分散カーネルを構築する課題を克服する。
• 標準的なユークリッド空間におけるガウス過程の主要な理論的性質を保ちながら、一般で実装可能なフレームワークを構築する。
• 脳イメージング、形状空間、正定値行列など、複雑なデータ構造を含む応用において、正確な不確実性の定量化と予測を可能にする。
• 球面、グラスマン多様体、形状空間など多様な多様体に適用可能なスケーラブルで柔軟なアプローチを提供する。

提案手法

• 滑らかなd次元多様体Mを、等長性を保つ埋め込みJを用いて、より高次元のユークリッド空間ℝ^Dに埋め込む。
• 標準的なユークリッド空間のカーネル（例：平方指数カーネル）を用いて、埋め込み像J(M) ⊂ ℝ^D上に外部的カーネルを定義する。
• J(M)上のガウス過程のプッシュバックを用いて、元の多様体M上にeGP事前分布を構築し、滑らかさと正則性が保たれることを保証する。
• eGPを事後分布の事前分布として用い、入力多様体上で条件付きに尤度を定義することで、ベイズ回帰および分類に応用する。
• M上の関数とその像J(M)上の関数の1対1対応を活用し、問題をℝ^Dにおける標準的なガウス過程理論に還元することで、事後分布収縮レートを確立する。
• YangとDunson（2016）の理論的結果を応用し、固定設計および確率的設計の両設定下での事後集中レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 任意の多様体上でのガウス過程回帰および分類のための一般的で実用的なフレームワークを開発できるか？
• RQ2 非ユークリッド多様体上でのガウス過程に適した、計算的に実行可能で有効な共分散カーネルをどのように構築できるか？
• RQ3 外部的ガウス過程は、ユークリッド空間における標準的ガウス過程の理論的性質をどの程度引き継いでいるか？
• RQ4 滑らかな多様体上での回帰関数に対して、eGPの事後分布収縮レートはどの程度か？
• RQ5 このフレームワークは、神経画像解析や幾何的領域上の空間統計といった実世界の問題に効果的に適用可能か？

主な発見

• eGPフレームワークは、ユークリッド空間への埋め込みと外部的カーネルの構築により、多様体上でのガウス過程モデリングの一般的で実装可能な解決策を提供する。
• eGPは、標準的ガウス過程の主要な理論的性質を引き継ぎ、事後一貫性および最適な収縮レートを達成する。
• 固定設計では、s-ホルダー滑らかさ関数（s ≤ 2）に対して、事後分布はレートεₙ = n^(-s/(2s+d)) (log n)^(d+1) で真の回帰関数に収束する。
• 確率的設計では、同じ滑らかさ条件の下で、設計測度gに関するL²(g)ノルムにおいて、事後分布収縮レートが達成される。
• この手法は、球面、形状空間、正定値行列、グラスマン多様体など広範な多様体に適用可能である。
• このフレームワークは、DTIデータを用いた疾患診断やランドマークベースの脳イメージングなどの応用において、正確な不確実性の定量化と予測を可能にする。