[論文レビュー] BdryGP: a new Gaussian process model for incorporating boundary information

Liang Ding, Simon Mak+1 more|arXiv (Cornell University)|Aug 23, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 32被引用数 7

ひとこと要約

本稿では、境界制約付きMatérn共分散関数を用いてディリクレ境界情報を組み込む新しいガウス過程モデルBdryGPを提案する。これにより、理論的に速い収束速度が保証され、次元の呪いに対する耐性が向上する。GP補間と有限要素法モデリングを結びつけることで、スパースグリッド設計下で、$L^p$収束率 $\/mathcal{O}(n^{-1})$ と、一様な確率的バインディング $\/mathcal{O}_{\mathbb{P}}(n^{-1} [\log n]^{2d - 3/2})$ を達成する。

ABSTRACT

Gaussian processes (GPs) are widely used as surrogate models for emulating computer code, which simulate complex physical phenomena. In many problems, additional boundary information (i.e., the behavior of the phenomena along input boundaries) is known beforehand, either from governing physics or scientific knowledge. While there has been recent work on incorporating boundary information within GPs, such models do not provide theoretical insights on improved convergence rates. To this end, we propose a new GP model, called BdryGP, for incorporating boundary information. We show that BdryGP not only has improved convergence rates over existing GP models (which do not incorporate boundaries), but is also more resistant to the "curse-of-dimensionality" in nonparametric regression. Our proofs make use of a novel connection between GP interpolation and finite-element modeling.

研究の動機と目的

• 境界情報がGPの収束速度に与える影響についての理論的理解の不足を解消すること。
• 既知の境界条件（例：ディリクレ）を理論的に活用できるGPモデルを開発し、予測精度と収束速度を向上させること。
• ガウス過程補間と有限要素法モデリングとの間の理論的つながりを確立すること。
• 境界情報の組み込みが、より速い収束速度と次元の呪いに対するより高い耐性をもたらすことを示すこと。
• 高次元テスト関数における数値実験を通じて理論的利点を検証すること。

提案手法

• 入力領域の境界でほとんど確実にディリクレ境界条件を満たす新しい境界制約付きMatérn（BdryMatérn）共分散関数を提案する。
• BdryGPの予測と有限要素法（FEM）補間との間の新しい理論的関連を確立し、FEM収束理論を用いた解析を可能にする。
• 非パラメトリック回帰における次元の呪いを緩和するため、最適な収束速度を保証するスパースグリッド設計を用いる。
• BdryMatérnカーネルのネイティブ空間を定義し、混合第一階微分と境界制約を持つソボレフ空間 $\mathcal{H}^{1,c}_{\text{mix}}(\mathcal{X})$ と関連付ける。
• FEM-GP同等性を用いて、BdryGP予測子の決定的 $L^p$ 収束速度と確率的一様バインディングを導出する。
• 次元 $d=10$ のテスト関数に対する数値実験を通じて、境界情報のレベルが異なる状況下でBdryGPと標準GPモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 既知の境界情報をGPモデルに組み込むことで、標準GPモデルと比較して理論的に速い収束速度が達成可能か。
• RQ2 境界制約の組み込みが、高次元非パラメトリック回帰における収束速度に与える影響は何か。
• RQ3 境界制約付き関数の文脈において、ガウス過程補間と有限要素モデリングとの間の理論的つながりは何か。
• RQ4 境界情報の組み込みが、GP回帰における次元の呪いにどの程度寄与して緩和されるか。
• RQ5 実際の応用において、完全な境界情報と部分的な境界情報の両方を用いたBdryGPの性能はどのように変化するか。

主な発見

• BdryGPは、$f \in \mathcal{H}^{1,c}_{\text{mix}}(\mathcal{X})$ の場合に、決定的 $L^p$ 収束速度 $\mathcal{O}(n^{-1})$ を達成する。これは、同等の滑らかさ下で標準GPモデルの $\mathcal{O}(n^{-1/2} [\log n]^{(5/2)(d-1)})$ の速度よりも顕著に速い。
• BdryGPの確率的一様バインディングは $\mathcal{O}_{\mathbb{P}}(n^{-1} [\log n]^{2d - 3/2})$ であり、制約なしGPの $\mathcal{O}_{\mathbb{P}}(n^{-1/2} [\log n]^{(5/2)d - 2})$ の速度を上回る。
• 次元 $d=10$ のテスト関数3つに対する数値実験では、完全な境界情報を有するBdryGPが、$L^1$誤差を標準GPモデルの約2倍の速度で低減させ、スパースグリッドレベル $k$ に対して $\mathcal{O}(2^{-k})$ の速度で減少することが示された。
• 完全な境界情報と部分的境界情報のBdryGP間の誤差比は1.0を超えて保たれ、完全な境界情報がより優れた性能をもたらすことを確認したが、サンプルサイズが増加するにつれて差は縮小した。
• 理論的解析により、境界制約の強制が高次元における収束効率を向上させ、次元の呪いに対する耐性を高めることを明らかにした。
• BdryGPとFEM補間の同等性により、計算最適化が可能であり、フル行列逆行列を伴わずともスケーラブルな予測と尤度評価が可能であると示唆された。