[論文レビュー] Finite-dimensional Gaussian approximation with linear inequality constraints

Andrés F. López-Lopera, François Bachoc+2 more|arXiv (Cornell University)|Oct 20, 2017

Gaussian Processes and Bayesian Inference参考文献 41被引用数 76

ひとこと要約

本稿は、有限次元ガウス過程モデルを一般の線形不等式制約（例：有界性、単調性、凸性）に拡張する。制約を有限次元空間内の凸集合として再定式化することで実現する。効率的な事後分布近似のためのハミルトニアン・モンテカルロ（HMC）を導入し、共分散パラメータ推定のための制約付き尤度の理論的・実験的妥当性を検証。人工的および実世界のデータにおいて、より優れたデータフィッティングと不確実性の定量化を示した。

ABSTRACT

Introducing inequality constraints in Gaussian process (GP) models can lead to more realistic uncertainties in learning a great variety of real-world problems. We consider the finite-dimensional Gaussian approach from Maatouk and Bay (2017) which can satisfy inequality conditions everywhere (either boundedness, monotonicity or convexity). Our contributions are threefold. First, we extend their approach in order to deal with general sets of linear inequalities. Second, we explore several Markov Chain Monte Carlo (MCMC) techniques to approximate the posterior distribution. Third, we investigate theoretical and numerical properties of the constrained likelihood for covariance parameter estimation. According to experiments on both artificial and real data, our full framework together with a Hamiltonian Monte Carlo-based sampler provides efficient results on both data fitting and uncertainty quantification.

研究の動機と目的

• 有界性、単調性、凸性にとどまらない一般の線形不等式制約を扱えるように、有限次元GPフレームワークを拡張すること。
• これらの制約下での事後分布近似に適した効率的なマルコフ連鎖モンテカルロ（MCMC）手法の開発と評価すること。
• 共分散パラメータ推定のための制約付き尤度の理論的および数値的性質を調査すること。
• 核臨界性および計量経済学の応用を含む、人工的および実世界のデータセットにおいて、より優れたデータフィッティングと不確実性の定量化を示すこと。

提案手法

• ハット基底関数を用いて関数空間上の不等式制約を有限次元係数空間内の凸集合に再定式化する。
• GPをノット点における区分的線形補間として表現し、無限次元の制約を係数上の有限次元線形不等式に還元する。
• 有限次元近似を用いて、入力空間全体にわたり凸集合 C ⊆ R^m を介して制約を強制する。
• ハミルトニアン・モンテカルロ（HMC）および他のMCMC手法を用いて、制約付き事後分布からのサンプリングを実行する。
• 制約下での共分散パラメータ推定のための条件付き尤度を導出する。これにより、整合的な推論が可能になる。
• 核臨界性および計量経済学を含む実世界の応用を含む、人工データおよび実データを用いてフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 有限次元GPフレームワークは、有界性、単調性、凸性にとどまらず、任意の線形不等式制約のセットに対しても一般化可能か？
• RQ2 異なるMCMCアルゴリズムは、線形不等式制約下での事後分布近似において、正確なモンテカルロ法と比較してどのように性能を発揮するか？
• RQ3 共分散パラメータ推定のための制約付き尤度関数の理論的および数値的性質は何か？
• RQ4 提案されたフレームワークは、既知の不等式制約を持つ実世界のデータセットにおいて、非制約付きGPモデルと比較して、データフィッティングおよび不確実性の定量化を改善するか？

主な発見

• 提案されたフレームワークは、有限次元GPアプローチを一般の線形不等式制約に拡張し、入力空間全体にわたり制約を正確に強制可能であることを示した。
• ハミルトニアン・モンテカルロ（HMC）は、計算コストとスケーラビリティの面で再帰的サンプリングを上回る、効率的かつ正確な事後分布近似手法を提供した。
• 制約付き尤度関数は、ややきめの正則性条件の下で適切に定義され、正であることが保証され、共分散パラメータ推定の有効な推論を可能にした。
• 理論的結果により、ノット数が増加するにつれて、制約付き事後分布が真の制約付き分布に収束することが示された。
• 人工データおよび実データ（例：核臨界性、計量経済モデル）における実験的結果から、非制約付きGPモデルと比較して、より優れたデータフィッティングと現実的な不確実性の定量化が達成された。
• ノット数の増加および制約の複雑さが増す数値実験を通じて、複雑な制約下でも計算上の実行可能性が維持されることを確認した。