[論文レビュー] Diffusion Based Gaussian Processes on Restricted Domains

David B. Dunson, Hau‐Tieng Wu+1 more|arXiv (Cornell University)|Oct 14, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用数 6

ひとこと要約

本稿では、制限された定義域上での拡散過程から導かれる内在的幾何的距離を用いて共分散をモデル化する、拡散ベースのガウス過程（DB-GPs）を提案する。グラフラプラシアンの固有対を用いて熱核を近似することにより、DB-GPsは標準的なGP手法と同等の計算効率を達成するとともに、湖の縁に近い空間データなど、非線形的かつ制約のある入力空間において性能が向上する。

ABSTRACT

In nonparametric regression and spatial process modeling, it is common for the inputs to fall in a restricted subset of Euclidean space. For example, the locations at which spatial data are collected may be restricted to a narrow non-linear subset, such as near the edge of a lake. Typical kernel-based methods that do not take into account the intrinsic geometric of the domain across which observations are collected may produce sub-optimal results. In this article, we focus on solving this problem in the context of Gaussian process (GP) models, proposing a new class of diffusion-based GPs (DB-GPs), which learn a covariance that respects the geometry of the input domain. We use the term `diffusion-based' as the idea is to measure intrinsic distances between inputs in a restricted domain via a diffusion process. As the heat kernel is intractable computationally, we approximate the covariance using finitely-many eigenpairs of the Graph Laplacian (GL). Our proposed algorithm has the same order of computational complexity as current GP algorithms using simple covariance kernels. We provide substantial theoretical support for the DB-GP methodology, and illustrate performance gains through toy examples, simulation studies, and applications to ecology data.

研究の動機と目的

• 空間的境界などの制限的かつ非線形的な入力領域上に存在する入力に対して、標準的なカーネルベースのガウス過程が性能を発揮しない問題を解決すること。
• 入力領域内の内在的幾何的距離をエンコードする共分散関数を構築し、ユークリッド距離に依存しないこと。
• グラフラプラシアンの有限個の固有対を用いて、計算不能な熱核を近似することで、計算効率を確保すること。
• DB-GPフレームワークに理論的裏付けを提供し、合成データおよび実世界の生態学的データにおいてその経験的優位性を検証すること。

提案手法

• 入力領域をリーマン多様体またはグラフとしてモデル化し、熱方程式に従う拡散過程によって内在的距離を定義する。
• 共分散を定義する熱核を、グラフラプラシアンの最初のK個の固有対を用いて近似することで、計算の tractability を確保する。
• 固有関数の重み付き和としてDB-GPの共分散関数を構築し、重みは対応する固有値から導出する。
• 得られた近似熱核をガウス過程回帰フレームワークにおけるカーネル関数として使用する。
• 使用する固有対の数を制限することで、標準的なGPアルゴリズムと同等の計算複雑性を維持する。
• スペクトルグラフ理論を活用して幾何的構造をカーネルに組み込み、曲がったまたは制約のある領域における一般化性能の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準的なカーネルと比較して、制限的かつ非線形的な入力領域上でのガウス過程回帰性能を、拡散ベースの共分散関数が向上させられるか。
• RQ2 グラフラプラシアンの有限個の固有対を用いた熱核の近似が、予測精度と計算コストに与える影響は何か。
• RQ3 DB-GP手法が、生態学的データにおける空間的境界のような複雑な領域の内在的幾何をどの程度正確に捉えられるか。
• RQ4 予測性能において従来のGPモデルを上回る一方で、計算効率を維持できるか。

主な発見

• 合成データにおいて、円形や曲がった多様体のような非線形的かつ制限された領域を有するデータに対して、DB-GPsは、等方的カーネルを用いた標準的なGPモデルを著しく上回る性能を示す。
• グラフラプラシアンからの有限個の固有対を用いることで、DB-GPsは標準的なGPアルゴリズムと同等の計算複雑性を達成する。
• シミュレーション研究により、DB-GPsが、非線形的かつ狭い領域に制約された空間データに対して、より正確な不確実性評価と優れた予測性能を提供することが示された。
• 生態学的データの応用において、DB-GPsは湖の縁のような環境的境界付近での種の分布パターンのモデリングを改善した。
• 理論的分析により、固有対の数を増やすにつれて、DB-GPの共分散関数が真の熱核に収束することが確認され、一貫性が裏付けられた。
• 経験的結果から、固有対の数の選択が、精度と計算コストのトレードオフを示すことが明らかになった。特に、ある閾値を超えると利得の減少が見られた。