[論文レビュー] Fast Kernel Approximations for Latent Force Models and Convolved Multiple-Output Gaussian processes

Cristian Guarnizo, Mauricio A. Álvarez|arXiv (Cornell University)|May 18, 2018

Gaussian Processes and Bayesian Inference参考文献 18被引用数 11

ひとこと要約

本稿では、潜在力モデル（LFMs）および物理的ダイナミクスを伴う畳み込み多重出力ガウス過程に対して、計算コストの高い誤差関数に基づく積分をモンテカルロ近似に置き換えることで、高速なカーネル近似を提案する。この手法により、計算複雑性が 𝒪(D³N³) から 𝒪(DNQ²S²) に低下し、特にサンプルサイズ S が増加する際、正確な手法に近い性能を維持しながらより高速な推論が可能になる。

ABSTRACT

A latent force model is a Gaussian process with a covariance function inspired by a differential operator. Such covariance function is obtained by performing convolution integrals between Green's functions associated to the differential operators, and covariance functions associated to latent functions. In the classical formulation of latent force models, the covariance functions are obtained analytically by solving a double integral, leading to expressions that involve numerical solutions of different types of error functions. In consequence, the covariance matrix calculation is considerably expensive, because it requires the evaluation of one or more of these error functions. In this paper, we use random Fourier features to approximate the solution of these double integrals obtaining simpler analytical expressions for such covariance functions. We show experimental results using ordinary differential operators and provide an extension to build general kernel functions for convolved multiple output Gaussian processes.

研究の動機と目的

• 数値的誤差関数の評価に起因する、潜在力モデルにおける正確な共分散計算の高コスト問題に対処すること。
• 物理的ダイナミクスを伴う畳み込み多重出力ガウス過程のスケーラブルな近似手法を開発すること。
• 多重出力GPモデルにおけるカーネル行列の逆行列計算の計算複雑性を低減すること。
• 解析的二重積分をRFFに基づくモンテカルロ近似に置き換えることで、LFMsにおける効率的な推論を可能にすること。
• 潜在関数のカーネルと畳み込み構造を分離することで、柔軟なカーネル設計を可能にすること。

提案手法

• 潜在関数事前分布における指数的二次（EQ）カーネルの近似に、ランダムフーリエ特徴量（RFFs）の使用。
• ボッハナーの定理を適用し、EQカーネルをフーリエ積分として表現することで、スペクトル分解を可能にする。
• ラプラス／フーリエ変換を用いて二重畳み込み積分を二つの独立した積分に分解し、解析的に解ける形にすること。
• 残りの積分を S 個のランダム周波数サンプルを用いたモンテカルロ近似により処理し、カーネル計算を基本関数の和に還元すること。
• RFF変換された入力にグリーン関数を適用することで、畳み込み多重出力GPのオペレータ値カーネルを構築すること。
• RFFフレームワークを一般の多重出力GPモデル（非動的システムを含む）に適応させるために、柔軟なカーネル構築メカニズムを用いること。

実験結果

リサーチクエスチョン

• RQ1 潜在力モデルの共分散関数における計算コストの高い二重積分を、ランダムフーリエ特徴量（RFFs）で近似できるか？
• RQ2 RFFベースの手法の近似精度は、ランダム特徴量の数 S にどのように依存するか？
• RQ3 提案手法は、予測性能を維持しつつ、多重出力GP推論の計算複雑性を低減できるか？
• RQ4 RFFベースのアプローチは、標準的なLFM構造を超えた一般の畳み込み多重出力ガウス過程に適用可能か？
• RQ5 RFFによるアプローチにより、潜在関数のカーネルと力学的システム構造を分離することで、柔軟なカーネル設計が可能か？

主な発見

• RFFベースの近似は、正確な畳み込み多重出力GP（CMOC）に近い性能を達成し、S=1000のときRMSEが0.22、NLPDが3.36と、CMOCの0.19および3.21に非常に近い結果を示した。
• 反復ごとの計算時間は S の増加に伴い著しく短縮され、S=1000のとき85.00秒にまで低下した。これはCMOCの353.00秒に比べ顕著な改善である。
• 性能は S の増加に伴い単調に向上し、サンプルサイズが増加するにつれて正確な手法に収束することが示された。
• 計算複雑性は 𝒪(D³N³) から 𝒪(DNQ²S²) に低減され、大規模な多重出力GP設定におけるスケーラブルな推論を可能にした。
• RFF分布の再重み付けを可能にすることで、任意のカーネル関数を潜在過程に適用できる柔軟なカーネル設計が可能になった。
• 本手法は、逐次的および階層的LFMsのような複雑なモデルに対しても効率的な推論を可能にし、高度なカーネル合成戦略のサポートも可能になった。