[論文レビュー] Discovering Latent Covariance Structures for Multiple Time Series

Anh Tong, Jaesik Choi|arXiv (Cornell University)|Mar 28, 2017

Time Series Analysis and Forecasting被引用数 11

ひとこと要約

本稿では、インド・バーバー過程（IBP）事前分布を用いて、複数の時系列間で共有される解釈可能な共分散構造を発見する、新しいガウス過程フレームワーク、潜在的カーネルモデル（LKM）を提案する。LKMは、異種で相関関係のある時系列群において、柔軟でデータ駆動型の合成カーネル選択を可能にし、実世界のデータセットにおいて、既存のマルチタスクGPおよびカーネル発見手法を著しく上回る予測性能を達成するとともに、人間が読みやすい比較レポートを生成する。

ABSTRACT

Analyzing multivariate time series data is important to predict future events and changes of complex systems in finance, manufacturing, and administrative decisions. The expressiveness power of Gaussian Process (GP) regression methods has been significantly improved by compositional covariance structures. In this paper, we present a new GP model which naturally handles multiple time series by placing an Indian Buffet Process (IBP) prior on the presence of shared kernels. Our selective covariance structure decomposition allows exploiting shared parameters over a set of multiple, selected time series. We also investigate the well-definedness of the models when infinite latent components are introduced. We present a pragmatic search algorithm which explores a larger structure space efficiently. Experiments conducted on five real-world data sets demonstrate that our new model outperforms existing methods in term of structure discoveries and predictive performances.

研究の動機と目的

• 複数の相関関係のある時系列間で、潜在的かつ共有される共分散構造を発見する課題に対処すること。
• 自動的に合成カーネル構造を学習することで、多次元時系列モデリングにおける予測性能を向上させること。
• 強い相関仮定を必要とせず、時系列間の関係性について人間が読みやすいレポートを生成できるようにすること。
• 複数の時系列にわたる膨大な数の潜在的カーネル構成空間を効率的に探索するための探索アルゴリズムを開発すること。
• ABC Dのような既存のカーネル発見フレームワークを、柔軟で部分的なカーネル共有を許容する多次元時系列設定に一般化すること。

提案手法

• インジアン・バーバー過程（IBP）事前分布をインジケータ行列に適用し、どの時系列がどの加法的カーネル成分を共有しているかをモデル化する。
• 無限個の潜在的成分を含んでも数学的に定義されたままであるように保証する非パrametricなGPモデルとして、潜在的カーネルモデル（LKM）を導入する。
• 組み合わせ的に複雑な膨大なカーネル構成空間を効率的に探索するための実用的探索アルゴリズム（PSE）を採用する。
• ステージストック的カーネル過程を用いて潜在的特徴を表現し、複数の時系列にわたる柔軟で共有可能なパrameter化を可能にする。
• 近似推論を適用することで、実世界のデータセットにスケーリング可能なモデルを実現しながら、発見されたカーネル構造の解釈可能性を維持する。
• 後方分布の実現値を分析することで、GP関数の類似性と相違点を強調し、時系列間の比較レポートを生成する。

実験結果

リサーチクエスチョン

• RQ1 複数の異種時系列間で、自動的に共有され解釈可能な共分散構造を発見する方法は何か？
• RQ2 複数の時系列にわたって柔軟で部分的なカーネル成分共有を可能にし、数学的に定義された非パrametricなGPモデルは何か？
• RQ3 膨大な数の潜在的合成カーネル構造の空間を効率的に探索し、データを最もよく説明する構造を同定する方法は何か？
• RQ4 時系列間で共有カーネル構造を学習するモデルは、既存のマルチタスクGPおよびカーネル発見手法を予測精度において上回れるか？
• RQ5 発見されたカーネル構造は、どの程度解釈可能であり、時系列間の関係性について意味のある人間が読みやすい比較レポートを生成するために利用可能か？

主な発見

• LKMは、5つの実世界データセットのうち4つで最小のRMSEを達成し、GONUデータセットでは平均RMSE 4.58±0.16を記録。これはABC D（8.37±0.03）およびR-ABCD（4.88±0.03）を著しく上回った。
• LKMは全データセットで最小の平均負の対数予測密度（NMLP）を達成し、GONUでは1.90±0.25を記録。ABC D（2.21±0.03）およびR-ABCD（2.01±0.10）と比較して優れた性能を示した。
• R-ABCDがグローバルなカーネル共有仮定に制限されて失敗する可能性がある複雑で関係性が豊富なデータ（例：GONU）において、LKMは優れた性能を発揮した。
• LKMは、共有カーネルを通じて、石油価格と米ドル指数の間の負の相関関係といった、洗練された関係性を的確に捉えた。これらの関係性は視覚的・意味的に解釈可能であった。
• 探索アルゴリズム（PSE）により、大規模なカーネル空間の効率的探索が可能となり、LKMはベースライン手法よりも高速な収束とより優れた一般化性能を示した。
• LKMは、時系列間で共有される特徴と相違する特徴を強調した高品質な人間が読みやすい比較レポートを生成し、非専門家にとっての解釈可能性を向上させた。