[論文レビュー] Computationally Efficient Bayesian Learning of Gaussian Process State Space Models

Andreas Svensson, Arno Solin+2 more|arXiv (Cornell University)|Jun 7, 2015

Fault Detection and Control Systems被引用数 15

ひとこと要約

本稿では、事前共分散から導出された近似固有関数の低ランク基底への動的投影を用いて、ガウス過程状態空間モデル（GP-SSMs）の計算的に効率的なベイズ推論手法を提案する。この手法により、粒子マルコフ連鎖モンテカルロ（PMCMC）アルゴリズムを用いて線形時間計算量の学習が可能となり、最先端の手法と比較して競争力のある性能と信頼性の高い不確実性評価を達成する。

ABSTRACT

Gaussian processes allow for flexible specification of prior assumptions of unknown dynamics in state space models. We present a procedure for efficient Bayesian learning in Gaussian process state space models, where the representation is formed by projecting the problem onto a set of approximate eigenfunctions derived from the prior covariance structure. Learning under this family of models can be conducted using a carefully crafted particle MCMC algorithm. This scheme is computationally efficient and yet allows for a fully Bayesian treatment of the problem. Compared to conventional system identification tools or existing learning methods, we show competitive performance and reliable quantification of uncertainties in the model.

研究の動機と目的

• 高次元非線形状態遷移に起因するGP-SSMsにおける完全ベイズ推論の計算非効率性に対処する。
• 従来のスパースGP近似（例：誘導点）が非最適なNystroem法に依存し、変分推論を必要とするという限界を克服する。
• 最適なKarhunen–Loève固有基底のより良い理論的・実用的収束性を実現する低ランクGP-SSM定式化を開発する。
• 特化した粒子MCMCアルゴリズムを用いて、モデルハイパーパrameter、ノイズ共分散、および潜在関数の完全ベイズ学習を効率的に行う。
• 挑戦的な動的システム同定タスクにおいて、競争力のある性能と頑健な不確実性評価を示す。

提案手法

• 事前共分散構造から導出された近似固有関数の集合へのガウス過程事前分布の投影により、低ランクGP-SSMを定式化する。
• 状態遷移関数を、確率的重み付き基底関数の線形結合として表すために、Karhunen–Loève展開近似を用いる。
• 祖先リサンプリングを組み込んだ粒子ギブス法（PGAS）アルゴリズムを適用し、基底関数重み、ハイパーパrameter、ノイズ共分散の後erior分布を同時に推論する。
• 低ランクモデルのパラメータ線形構造を活用し、1イテレーションあたり線形時間計算量の効率的MCMCサンプリングを実現する。
• MCMCスキームにおける効率的条件付き更新を可能にするために、共役事前分布（プロセスノイズには逆ウィシャート分布、重みにはガウス分布）を用いる。
• 補足資料で理論的に、低ランクモデルが基底関数数の増加に伴い完全なGP-SSMに漸近的に一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 近似固有関数に基づく低ランクGP-SSMは、誘導点ベースの手法と比較して、GP-SSM学習におけるより優れた近似品質を達成できるか？
• RQ2 変分近似に依存せずに、GP-SSMsにおける完全ベイズ推論を計算的に効率的に行えるか？
• RQ3 提案されたPMCMCアルゴリズムは、非線形システム同定タスクにおいて競争力のある性能と信頼性の高い不確実性評価を達成できるか？
• RQ4 提案手法の計算複雑度は、従来の変分法や最尤推定手法と比較してどのように異なるか？
• RQ5 低ランクGP-SSM定式化は、逐次学習および連続時間動的システムに拡張可能か？

主な発見

• 提案された低ランクGP-SSMは、補足資料における理論的分析により、基底関数数の増加に伴い完全なGP-SSMに収束することが示された。
• 粒子MCMCアルゴリズムは1イテレーションあたり線形時間計算量を達成しており、Frigolaら（2014b）の提案した変分スパースGP手法と比較して顕著に効率的である。
• 本手法は入出力モデルタスクにおいて競争力のある性能を示し、精度において最先端の最尤法を同等または上回った。
• 不確実性評価は信頼性が高く、空間的に構造的である。後erior分散は、データ励起が少ない領域で増加する傾向を図1に示した。
• 基底関数数（1次元あたり6～15個）や粒子数（例：20粒子）のやや中程度の選択に対しても、混合性や収束性にほとんど影響を及ぼさないという点で、アルゴリズムは頑健である。
• 多くの既存手法が点推定や変分近似に依存するのに対し、本手法はハイパーパrameterおよび潜在関数の完全後erior推論を可能にする。