[論文レビュー] Linearly constrained Gaussian processes

Carl Jidling, Niklas Wahlström+2 more|arXiv (Cornell University)|Mar 2, 2017

Gaussian Processes and Bayesian Inference被引用数 33

ひとこと要約

本稿では、線形作用素の制約（例：回転なしや発散なしの条件）を、元のGPを線形作用素で変換することによって、多変量ガウス過程に組み込む手法を提案する。このアプローチにより、すべてのサンプルおよび予測が制約を正確に満たすことが保証され、磁界予測などの問題において精度が向上する。シミュレーションおよび実世界の実験において、両者で顕著な性能向上が確認された。

ABSTRACT

We consider a modification of the covariance function in Gaussian processes to correctly account for known linear constraints. By modelling the target function as a transformation of an underlying function, the constraints are explicitly incorporated in the model such that they are guaranteed to be fulfilled by any sample drawn or prediction made. We also propose a constructive procedure for designing the transformation operator and illustrate the result on both simulated and real-data examples.

研究の動機と目的

• 既知の線形作用素の制約（例：微分方程式や保存則）をガウス過程回帰に正確に組み込む課題に対処すること。
• すべてのGPサンプルおよび予測が、離散的な点での近似ではなく、厳密に制約を満たすようにする手法を開発すること。
• 制約を共分散関数に埋め込むための、構成的でスケーラブルな手順を提供すること。
• 合成問題および実世界の応用（例：回転なしの制約を伴う磁界予測）において、本手法の有効性を示すこと。

提案手法

• 目的関数を、制約を実現する変換作用素を備えた潜在GPの線形変換としてモデル化する。
• GPが線形演算に対して閉じているという性質を活用し、変換後の過程が意味のあるGP（平均および共分散関数が変更されたもの）のまま保たれることを保証する。
• 微分作用素における同次多項式の基底を用いて変換作用素を構築し、制約を保つカーネルを体系的に導出可能にする。
• 制約の満たし方を多項式係数に関する同次線形系として定式化し、ヌル空間の計算により正確に満たされるようにする。
• 新しい共分散関数を $ K_{\text{constrained}}(\mathbf{x}, \mathbf{x}') = \mathbf{A}^T K(\mathbf{x}, \mathbf{x}') \mathbf{A} $ として導出する。ここで $ \mathbf{A} $ は変換行列である。
• 得られた制約付きGPを回帰に用い、推論および予測を標準的なGPの手法で実行するが、制約の正確な適合が保証される。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、線形作用素の制約（例：回転なしや発散なし）を、多変量ガウス過程モデルに正確に組み込むことができるか？
• RQ2 任意の線形制約をGPの共分散構造に埋め込むための、体系的な手順を有する変換作用素を設計できるか？
• RQ3 制約の適合が、実世界の回帰タスクにおける予測精度および不確実性の定量化に与える影響は何か？
• RQ4 本手法は、制約を無視するか、サンプリングされた点でのみ制約を満たすようなベースライン手法と比較して、どのように優れているか？
• RQ5 物理法則から生じる複雑で高次元の制約に対しても、本手法は実用的応用においてスケーラブルか？

主な発見

• 提案手法により、GPからのすべてのサンプルおよびすべての予測が、観測点に限らず、与えられた線形制約を正確に満たすことが保証される。
• 磁界推定タスクにおいて、制約なしのGPベースラインと比較して、予測誤差が低減され、予測精度が向上していることが実証された。
• 変換に基づくアプローチは、制約を満たすために架空の測定値を追加する手法とは異なり、問題の次元を増加させない。
• 制約を満たす変換作用素を設計する手続きは体系的かつ一般化可能であり、任意の線形作用素の制約に適用可能である。
• 3次元磁界予測タスクにおいて、回転なしの制約を成功裏に組み込み、移動センサープラットフォームからの実データを用いた実験で、より高い忠実度が得られた。
• 本手法により、電磁界のような微分的制約に従う物理系を、計算効率を損なわずに正確にモデル化できるようになった。