[論文レビュー] Efficient State-Space Inference of Periodic Latent Force Models

Steven Reece, Stephen Roberts+3 more|arXiv (Cornell University)|Oct 23, 2013

Gaussian Processes and Bayesian Inference参考文献 40被引用数 14

ひとこと要約

本論文は、周期的および準周期的ガウス過程事前分布を効率的に表現するため、カーネル主成分分析（KPCA）から導かれる固有関数基底モデルを用いた、周期的ラティントフォースモデル（LFM）の新しい状態空間推論手法を提案する。この手法により、スケーラブルで原理的である推論が可能となり、非周期的モデルの17%、共振器モデルの27%にまでRMSEが低下する。また、手動によるハイパーパrameterチューニングを必要とせず、完全なベイズ推論を維持する。

ABSTRACT

Latent force models (LFM) are principled approaches to incorporating solutions to differential equations within non-parametric inference methods. Unfortunately, the development and application of LFMs can be inhibited by their computational cost, especially when closed-form solutions for the LFM are unavailable, as is the case in many real world problems where these latent forces exhibit periodic behaviour. Given this, we develop a new sparse representation of LFMs which considerably improves their computational efficiency, as well as broadening their applicability, in a principled way, to domains with periodic or near periodic latent forces. Our approach uses a linear basis model to approximate one generative model for each periodic force. We assume that the latent forces are generated from Gaussian process priors and develop a linear basis model which fully expresses these priors. We apply our approach to model the thermal dynamics of domestic buildings and show that it is effective at predicting day-ahead temperatures within the homes. We also apply our approach within queueing theory in which quasi-periodic arrival rates are modelled as latent forces. In both cases, we demonstrate that our approach can be implemented efficiently using state-space methods which encode the linear dynamic systems via LFMs. Further, we show that state estimates obtained using periodic latent force models can reduce the root mean squared error to 17% of that from non-periodic models and 27% of the nearest rival approach which is the resonator model.

研究の動機と目的

• 周期的または準周期的なラティントフォースをモデル化する際、従来のラティントフォースモデル（LFM）の計算上の非現実性に対処すること。
• 状態空間推論を、定常的周期的、非定常的周期的、および準周期的ガウス過程事前分布に拡張すること。
• カーネル主成分分析（KPCA）から導かれる固有関数を用いて、周期的ラティントフォースのスパースで効率的な表現を開発すること。
• ガウス過程事前分布の構造を状態空間モデルに直接埋め込むことで、ハイパーパrameterの手動チューニングを回避した完全なベイズ推論を可能にすること。
• 実世界の周期的ダイナミクスを含む問題、例えば家庭の暖房およびコールセンタのキューイングに、本手法の有効性を示すこと。

提案手法

• 本手法は、時間領域におけるカーネル主成分分析（KPCA）から導かれる固有関数を用いた線形基底モデル（LBM）を用い、周期的ラティントフォースを表現する。
• 固有関数は、周期的GP事前分布の共分散関数から計算され、基底が事前分布の構造を完全に捉えるように保証される。
• 状態ベクトルにLBMの係数を拡張することで、ラティントフォースを表現し、カルマンフィルタを用いた効率的な状態空間推論を可能にする。
• KPCA基底をラティントフォースの時間変動特性に適応させることで、定常的および非定常的周期的プロセスをモデル化する。
• 準周期的力は、時間変動する振幅を持つ固有関数の重み付き和としてモデル化され、日々の周期的パターンの変動を表現可能となる。
• すべてのモデルパラメータ、ハイパーパrameterを含め、最尤推定またはベイズ的手法により推論され、手動チューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 周期的および準周期的ラティントフォースは、状態空間フレームワーク内に効率的に表現可能か？
• RQ2 提案された固有関数に基づくLBM表現は、共振器モデルなど既存の手法よりも予測精度で優れているか？
• RQ3 本手法は、家庭の暖房やコールセンタの顧客到着など、複雑な非定常的周期的ダイナミクスを含む実世界の応用にスケーラブルか？
• RQ4 線形および非線形システムにおいて、周期的事前分布を組み込むことで、非周期的モデルに比べて予測誤差がどの程度低減されるか？
• RQ5 状態空間表現にGP事前分布の情報を完全に組み込みつつ、計算効率を維持できるか？

主な発見

• 提案手法は、熱的ダイナミクス予測において、非周期的モデルのRMSEを17%まで低下させ、ベースライン手法を著しく上回った。
• コールセンターアプリケーションでは、非周期的モデルに比べてRMSEが最大83%まで低下し、日次到着率パターンへの強い適応性を示した。
• 熱的ダイナミクス応用において、固有関数ベースのモデルは共振器モデルに比べてRMSEを最大74%まで低下させ、残留熱プロファイルのモデリングにおいて優れた性能を示した。
• 準周期的モデル（WQMおよびSQM）は、両方の応用において最小の平均二乗誤差と最高の期待対数尤度を達成し、特に振幅が変動する周期的パターンのシナリオで顕著な優位性を示した。
• 本手法は、線形（家庭の暖房）および非線形（コールセンタ）システムの両方で、効率的な推論を実現し、広範な適用可能性を示した。
• 本手法は、状態の最先端性能を達成し、共振器モデル（Särkkä et al., 2012; Hartikainen et al., 2012）を上回り、RMSEをその27%まで低下させた。