[論文レビュー] State Space representation of non-stationary Gaussian Processes

Alessio Benavoli, Marco Zaffalon|arXiv (Cornell University)|Jan 7, 2016

Gaussian Processes and Bayesian Inference参考文献 6被引用数 5

ひとこと要約

本稿では、線形時変状態空間モデルの過渡応答を活用することで、非定常ガウス過程（GPs）の状態空間（SS）表現を提案する。これにより、O(n)の推論複雑度が達成される。ラプラス変換を用いて、周期的、スプライン、線形回帰、ニューラルネットワークカーネルといった非定常カーネルをすべてSS形式にマッピングでき、太陽spotsデータ（58,306件の観測、1.5時間の実行時間）のような長期間時系列データにおいて、計算効率と精度の両面で成功を収めた。

ABSTRACT

The state space (SS) representation of Gaussian processes (GP) has recently gained a lot of interest. The main reason is that it allows to compute GPs based inferences in O(n), where $n$ is the number of observations. This implementation makes GPs suitable for Big Data. For this reason, it is important to provide a SS representation of the most important kernels used in machine learning. The aim of this paper is to show how to exploit the transient behaviour of SS models to map non-stationary kernels to SS models.

研究の動機と目的

• 標準的なGP推論の計算ボトル neck（O(n³)）を解消し、状態空間モデルを用いてO(n)推論を可能にする。
• 従来、定常カーネルに限られていたGPの状態空間表現を、周期的、スプライン、ニューラルネットワークカーネルなどの非定常カーネルに拡張する。
• 線形時変状態空間モデルの過渡応答を活用し、非定常挙動を捉える。これは、定常系では無視されがちな要因である。
• ラプラス変換を用いて、機械学習カーネルの広いクラスを状態空間形式に体系的にマッピングするフレームワークを提供し、解析的取り扱いの容易さと計算効率を確保する。
• 実世界の長期間時系列データ（例：太陽spots番号）を用いて、スケーラビリティと精度を検証し、本手法の有効性を実証する。

提案手法

• 連続時間における線形時変状態空間モデル（F(t)、L(t)、C(t)の時間依存システム行列を有する）を用いて、ガウス過程を確率的微分方程式（SDE）として表現する。
• システムの過渡応答を捉えるためにラプラス変換を活用する。これは、初期条件応答と駆動応答が消えない非定常カーネルをモデル化する上で不可欠である。
• 周期的、スプライン、線形回帰などの特定カーネルに対して、SDEと状態遷移行列をラプラス領域解析により導出し、それらの状態空間モデルを構築する。
• ニューラルネットワークカーネルを、本質的に非定常であり、複雑な非定常共分散構造を捉える能力を持つ線形時変SSモデルにマッピングする。
• オンライン推定にはカルマンフィルタリング、オフライン推定にはスムージングを用い、SS構造のおかげで両者ともO(n)にスケーリング可能である。
• ベイズフレームワーク内において、ラオ＝ブラックウェルト粒子フィルタリングを用いてハイパーパrameterを推定し、データからのカーネルパラメータのロバストな学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 非定常ガウス過程カーネルを、効率的推論を可能にする状態空間形式に体系的に表現するにはどうすればよいか？
• RQ2 線形時変状態空間モデルの過渡応答は、非定常共分散関数のモデル化において果たす役割は何か？
• RQ3 ラプラス変換は、より広い非定常カーネルクラスを状態空間モデルにマッピングするための、フーリエ変換よりも一般的なツールとして機能できるか？
• RQ4 状態空間表現によるGPは、太陽spotsデータのような長期間時系列において、どの程度O(n)の計算複雑度を達成できるか？
• RQ5 周期的およびニューラルネットワークベースの状態空間モデルは、正弦波やガウス密度のような非周期的・滑らかでない関数をどの程度正確に近似できるか？

主な発見

• 本手法により、線形時変状態空間モデルとして表現されたガウス過程は、標準的なO(n³)GP推論と比較して、計算コストを顕著に低減したO(n)推論が可能になった。
• 状態空間モデルの過渡応答は、非定常カーネルのモデル化において極めて重要である。定常系とは異なり、非定常系では過渡応答が消えず、挙動に影響を与える。
• ラプラス変換の使用により、周期的、スプライン、ニューラルネットワークカーネルといった非定常カーネルを、統一的かつ解析的に状態空間形式にマッピングするフレームワークが実現された。
• 歯車波に対しては、J=6個のコサイン成分を持つ周期的SSモデルが、非常に高い精度の事後分布推定を達成し、滑らかでない周期的関数を捉える能力を示した。
• ニューラルネットワークSSモデルは、ガウス密度の尾部を効果的に近似でき、近似次数をJ=10からJ=20に引き上げるにつれて精度が向上した。
• 長期間の太陽spots時系列（58,306件の観測）において、J=8成分の周期的SSモデルは10.36年という周期長を推定し、標準ラップトップで1.5時間で推論を完了した。これにより、Big Dataへのスケーラビリティと実用性が確認された。