[論文レビュー] Graph Based Gaussian Processes on Restricted Domains

David B. Dunson, Hau‐Tieng Wu+1 more|arXiv (Cornell University)|Oct 14, 2020

Gaussian Processes and Bayesian Inference参考文献 36被引用数 4

ひとこと要約

本稿では、入力空間の内在的幾何構造を尊重する共分散構造を学習することで、制限された複雑な定義域上での非パrametric回帰のためのグラフラプラシアンに基づくガウス過程（GL-GPs）を提案する。ユークリッド距離から構築されたグラフラプラシアンの有限個の固有ペアを用いて熱核を近似することで、幾何学的感度の高い平滑化とNyström型の拡張による新規データへの対応を可能にし、理論的には最適な事後分布収縮率を達成し、実践的には特にハンド表面のような非線形多様体上でも予測精度が向上する。

ABSTRACT

In nonparametric regression, it is common for the inputs to fall in a restricted subset of Euclidean space. Typical kernel-based methods that do not take into account the intrinsic geometry of the domain across which observations are collected may produce sub-optimal results. In this article, we focus on solving this problem in the context of Gaussian process (GP) models, proposing a new class of Graph Laplacian based GPs (GL-GPs), which learn a covariance that respects the geometry of the input domain. As the heat kernel is intractable computationally, we approximate the covariance using finitely-many eigenpairs of the Graph Laplacian (GL). The GL is constructed from a kernel which depends only on the Euclidean coordinates of the inputs. Hence, we can benefit from the full knowledge about the kernel to extend the covariance structure to newly arriving samples by a Nyström type extension. We provide substantial theoretical support for the GL-GP methodology, and illustrate performance gains in various applications.

研究の動機と目的

• 入力が制限された非線形な定義域に存在する場合、標準的なGPモデルが性能を発揮しない問題に対処すること。
• 明示的な多様体の知識を必要とせずに、入力定義域の内在的幾何構造を尊重する共分散関数を学習するGPフレームワークの構築。
• 固定設計のもとで、提案されたGL-GPモデルの事後分布収縮率に関する理論的保証の提供。
• グラフラプラシアンの固有ペアに基づくNyström型拡張を用いて、スケーラブルな推論とアウトオブサンプル予測の実現。
• 幾何的構造を持つ実データおよび合成データ上での、標準的なユークリッド距離GPカーネルと比較してGL-GPsの実験的優位性の実証。

提案手法

• 入力点から、ユークリッド距離に基づくカーネル（例：ガウスカーネル）を用いて重み付きグラフを構築し、近隣構造を定義する。
• グラフの隣接行列と次数行列から、グラフラプラシアン行列を計算する。
• グラフラプラシアンの最初の $K$ 個の固有ペアを用いて、計算不能な熱核共分散を近似する。
• グラフラプラシアンに基づく共分散 $\mathsf{C}_{\epsilon,K}(x,y,\mathbf{T})$ を用いてGP事前分布を定義する。ここで $\mathbf{T}$ は事前分布 $g(t)$ を持つランダムバンド幅パラメータである。
• グラフラプラシアンの固有分解を活用したNyström型拡張により、アウトオブサンプル予測を可能にする。
• 固定設計設定を用いて事後分布収縮率を導出し、正則性条件のもとで近似的に最適収束が達成されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 制限された非線形定義域の内在的幾何構造を事前に知らずに、GPモデルがその幾何を尊重する共分散関数を学習できるか？
• RQ2 熱核のグラフラプラシアン近似に基づくGP事前分布の理論的事後分布収縮率は何か？
• RQ3 複雑な幾何構造を持つ定義域上での、提案されたGL-GPと標準的なユークリッド距離カーネルを用いたGPモデルの性能はどのように比較されるか？
• RQ4 GL-GPフレームワークは、固有分解とNyström拡張を用いてスケーラブルな推論とアウトオブサンプル予測をサポートできるか？
• RQ5 GL-GPが非パラメトリック回帰において最適または近似的に最適な収束レートを達成するための条件は何か？

主な発見

• 正則性条件のもとで、GL-GPは事後分布収縮率 $\gamma_n = \left(\frac{n}{\log n}\right)^{-\frac{d}{2q+2d}}$ を達成し、与えられた関数クラスのミニマックス最適レートに近づく。
• 実験的結果では、レイノーの病を有する3次元ハンド表面データ上において、標準的なGPモデルがユークリッド距離仮定により指の間を誤って平滑化するのとは対照的に、予測精度が著しく向上している。
• グラフラプラシアンの固有ペアの使用により、計算的に実行可能な方法で計算不能な熱核の近似が可能となり、幾何学的感度の高い平滑化が実現される。
• Nyström型拡張により、事前に計算されたグラフラプラシアンの固有分解を活用して、新しい入力に対する効率的な予測が可能になる。
• 理論的解析により、GL-GP事前分布が真の関数の滑らかさと入力定義域の次元に依存するレートで真の関数に収束することが確認された。
• 未知の定義域幾何構造に対してもロバストであり、入力定義域が既知の多様体でない場合でも良好に動作し、先行研究の仮定を越えて拡張可能である。