[論文レビュー] Temporally-Reweighted Chinese Restaurant Process Mixtures for Clustering, Imputing, and Forecasting Multivariate Time Series

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|Oct 18, 2017

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

本稿では、非定常的でスパースなダイナミクスを示す多次元時系列を、同時にクラスタリング・欠損値補完・予測する非パrametricベイジアンモデルを提案する。時系列をクラスタ内での履歴依存的クラスタ確率と階層的事前分布でモデル化することで、CDCインフルエンザデータにおいて優れた予測精度と、競争的な補完性能を達成し、パラメトリックな仮定や手動のチューニングを必要とせずにGapminderのマクロ経済時系列データから解釈可能なクラスタを発見した。

ABSTRACT

This article proposes a Bayesian nonparametric method for forecasting, imputation, and clustering in sparsely observed, multivariate time series data. The method is appropriate for jointly modeling hundreds of time series with widely varying, non-stationary dynamics. Given a collection of $N$ time series, the Bayesian model first partitions them into independent clusters using a Chinese restaurant process prior. Within a cluster, all time series are modeled jointly using a novel "temporally-reweighted" extension of the Chinese restaurant process mixture. Markov chain Monte Carlo techniques are used to obtain samples from the posterior distribution, which are then used to form predictive inferences. We apply the technique to challenging forecasting and imputation tasks using seasonal flu data from the US Center for Disease Control and Prevention, demonstrating superior forecasting accuracy and competitive imputation accuracy as compared to multiple widely used baselines. We further show that the model discovers interpretable clusters in datasets with hundreds of time series, using macroeconomic data from the Gapminder Foundation.

研究の動機と目的

• 非定常的でスパースに観測される高次元の多次元時系列の予測・補完・クラスタリングにおける課題に対処すること。
• 状態空間モデルや自己回帰モデルで一般的に用いられるカスタムモデル指定やパラメトリックな仮定を回避する非パラメトリックベイジアン手法の開発。
• 共有される時系列的ダイナミクスを持つ潜在クラスタを発見することで、数100本の時系列を統合的にモデル化すること。
• 十分な歴史的信号があるレジームでは予測精度を向上させつつ、未知のレジームでは広い事前分布に従ってリグレッションする仕組みの構築。
• 固定されたクラスタ数や手動でチューニングされたパrameterを必要とせず、確率的クラスタリング・補完・予測を統合的にサポートするフレームワークの提供。

提案手法

• 時系列が共有する時系列的パターンに基づいてクラスタリングするため、中国レストラン過程（CRP）事前分布を用いる。
• 各クラスタ内では、時系列の直近$p$ステップを用いてクラスタ確率を再重み付けする、標準的なCRPを拡張した時系列再重み付けCRPを採用。
• 階層的拡張により、複数の時系列間で共通するクラスタ構造を可能とし、一貫したダイナミクスを持つグループの発見を可能にする。
• 予測推論のための事後分布からのサンプリングには、マルコフ連鎖モンテカルロ（MCMC）手法を用いる。
• 現在の時系列と、同じ時刻における他の時系列の値を同時にモデル化することで、補完精度の向上を図る。
• MCMCサンプル全体にわたる依存確率を用いて事後クラスタ割り当てを集約し、不確実性を表現するとともに、安定したクラスタの抽出を実現。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアンモデルは、非定常的でスパースなダイナミクスを示す多次元時系列に対して、同時にクラスタリング・補完・予測を実行可能か？
• RQ2 時系列再重み付けCRPは、標準的なパラメトリックおよび非パラメトリックベースラインと比較して、予測および補完精度をどのように向上させるか？
• RQ3 事前にクラスタ数を指定せずに、高次元時系列データから意味的で解釈可能なクラスタを発見できるか？
• RQ4 モデルは、スパースに観測されたデータにおける補完精度向上に、時系列間の依存関係をどの程度活用できるか？
• RQ5 限られた歴史的信号があるレジームでは、モデルはどの程度の性能を示し、未知のダイナミクスにおいて過剰適合を回避するか？

主な発見

• TRCRP混合モデルは、米国10地域のインフルエンザ発生率予測において、Facebook Prophet、マルチアウトプットガウス過程、季節的ARIMA、HDP-HMMを含む複数のベースラインを上回った。
• CDCインフルエンザデータにおける補完精度は競争的で、期待よりも$p$ウィンドウサイズの変化に敏感でなかった。これは、強力な時系列間依存性に起因する。
• GapminderのGDPデータでは、携帯電話技術の導入タイミングに明確な違いを示す国々の9つの解釈可能なクラスタを発見した。
• k-メディオイドと動的時系列適合（DTW）を用いたクラスタリングと比較して、特に$k$値が高い場合に、本モデルのクラスタリング結果はより明確で重複が少なかった。
• 対比較的依存確率ヒートマップから、線形の相互相関よりも洗練された依存構造をモデルが捉えていることが示された。
• 事後クラスタ割り当ては確率的かつMCMCサンプル全体にわたって一貫しており、固定されたクラスタ割り当てを必要とせず、不確実性を考慮したクラスタリングが可能となった。