[論文レビュー] Know Your Boundaries: Constraining Gaussian Processes by Variational Harmonic Features

Arno Solin, Manon Kok|arXiv (Cornell University)|Apr 10, 2019

Gaussian Processes and Bayesian Inference被引用数 9

ひとこと要約

本稿では、変分調和特徴を用いて任意形状の領域にガウス過程（GPs）を制約する新規手法を提案する。境界条件（例：端縁でゼロ）を正確に満たしつつ、予測のスケーリングがO(nm²)、ハイパーパrameter学習のスケーリングがO(m³)となる。変分推論を統合することで非ガウス尤度に対応可能となり、空間的および時空間的問題における物理的制約の正確なモデリングが可能である。シミュレートデータ、バイナリ分類、オランダにおける実際のトック Bite密度モデルで有効性が実証された。

ABSTRACT

Gaussian processes (GPs) provide a powerful framework for extrapolation, interpolation, and noise removal in regression and classification. This paper considers constraining GPs to arbitrarily-shaped domains with boundary conditions. We solve a Fourier-like generalised harmonic feature representation of the GP prior in the domain of interest, which both constrains the GP and attains a low-rank representation that is used for speeding up inference. The method scales as $\mathcal{O}(nm^2)$ in prediction and $\mathcal{O}(m^3)$ in hyperparameter learning for regression, where $n$ is the number of data points and $m$ the number of features. Furthermore, we make use of the variational approach to allow the method to deal with non-Gaussian likelihoods. The experiments cover both simulated and empirical data in which the boundary conditions allow for inclusion of additional physical information.

研究の動機と目的

• ガウス過程において、任意形状の領域に境界条件を課す手法の不足を解消すること。
• 人工的なデータポイントを用いずに自然に境界条件を満たす低ランクGP近似を構築すること。
• 変分フーリエ特徴を、制約付き領域における非ガウス尤度に対応可能に拡張すること。
• 物理的制約を保持しつつ、スケーラブルな推論（O(nm²)の予測、O(m³)のハイパーパrameter学習）を実現すること。
• 陸地に制限されたトック密度といった、物理的境界知識を持つ実世界の空間データに、本手法を適用すること。

提案手法

• 本手法は、ドメイン内でのGPの事前分布を、ディリクレ境界条件を伴うラプラシアン作用素の固有値問題を解くことによって得られる一般化された調和特徴分解を用いる。
• 境界で値がゼロとなる調和基底関数を用いて、GPの共分散の低ランク近似を構築し、境界条件の自然な強制を実現する。
• 誘導点を調和特徴空間に配置することで、非ガウス尤度に対応可能な変分推論フレームワークを適応的に拡張する。
• 調和特徴の構造を活用することで、効率的な推論を実現し、予測の計算量がO(nm²)、ハイパーパrameter学習の計算量がO(m³)となる。
• 非凸領域および非連結領域もサポート可能であり、複雑な形状の2次元例で実証されている。
• ラプラシアンの固有値分解はドメインごとに一度だけ計算され、同じドメイン上で複数のモデルに再利用可能である。

実験結果

リサーチクエスチョン

• RQ1 調和特徴を用いて、計算効率を維持したまま、任意形状の領域にガウス過程を自然に制約できるか？
• RQ2 人工観測値やペナルティ項に依存せずに、境界条件をどのように強制できるか？
• RQ3 変分フーリエ特徴フレームワークを、制約付き領域における非ガウス尤度に対応可能に拡張できるか？
• RQ4 標準的なGP近似と比較して、本手法の計算コストとスケーラビリティはどの程度か？
• RQ5 本手法は、実世界の空間モデリングタスクにおいて物理的ドメイン制約を効果的に組み込めるか？

主な発見

• 複雑で非凸的かつ非連結な2次元領域に対し、調和特徴を用いて境界条件をゼロに自然に強制でき、さまざまな形状のランダムなGPサンプリングで実証された。
• バナナ分類データセットでは、誘導特徴数mを4から64に増加させることで、真の境界に近い意思決定境界が得られ、m=64ではほぼ完全な分離が達成された。
• トック Bite密度モデリングタスクでは、制約付きGPモデルがオランダ全域で空間的強度パターンを正確に予測し、海や川では密度がゼロとなり、観測データと良好に一致した。
• m=100の場合、2次元ドメインのための設定コストは4.9±0.1秒、m=64のバナナデータセットでは10.3±0.4秒であり、n=10,000の観測値に対する1回の予測の推論時間は0.23秒であった。
• ポisson尤度を伴う対数ガウス過程では、m=256の特徴と200×200グリッドを用いて安定した学習が達成され、物理的に妥当な密度マップが得られた。
• 本手法は効率的にスケーリング可能である：予測時間はO(nm²)、ハイパーパrameter学習はO(m³)であり、物理的制約を伴う大規模な空間問題に適している。