[論文レビュー] High-dimensional Time Series Prediction with Missing Values

Hsiang‐Fu Yu, Nikhil Rao+1 more|arXiv (Cornell University)|Sep 28, 2015

Time Series Analysis and Forecasting参考文献 23被引用数 17

ひとこと要約

本稿では、欠損値を伴う高次元時系列データに対して、データ駆動型の時系列依存関係学習を行列分解に統合する新規フレームワーク、時系列正則化行列分解（TRMF）を提案する。時間的相関を学習された遷移行列を用いてモデル化し、低ランク分解を活用することで、実データおよび合成データの両方で予測と欠損値補完において最先端の性能を達成した。古典的および既存の行列分解手法を上回っている。

ABSTRACT

High-dimensional time series prediction is needed in applications as diverse as demand forecasting and climatology. Often, such applications require methods that are both highly scalable, and deal with noisy data in terms of corruptions or missing values. Classical time series methods usually fall short of handling both these issues. In this paper, we propose to adapt matrix matrix completion approaches that have previously been successfully applied to large scale noisy data, but which fail to adequately model high-dimensional time series due to temporal dependencies. We present a novel temporal regularized matrix factorization (TRMF) framework which supports data-driven temporal dependency learning and enables forecasting ability to our new matrix factorization approach. TRMF is highly general, and subsumes many existing matrix factorization approaches for time series data. We make interesting connections to graph regularized matrix factorization methods in the context of learning the dependencies. Experiments on both real and synthetic data show that TRMF outperforms several existing approaches for common time series tasks.

研究の動機と目的

• 高次元で大規模なデータに欠損値を伴う古典的時系列モデルの限界を克服すること。
• 時系列データの時間的依存関係を捉えるスケーラブルな行列分解フレームワークを開発すること。
• 完全なデータを必要とせずに、高次元時系列データにおける効果的な予測と欠損値補完を可能にすること。
• 学習可能な時間的ダイナミクスを組み込むことで、既存の行列分解およびグラフ正則化手法を一般化すること。

提案手法

• TRMFは、時系列予測を低ランク行列分解問題として定式化し、データ行列 $ Y \in \mathbb{R}^{n \times T} $ を $ Y \approx FX $ としてモデル化する。ここで $ F $ は時系列固有の特徴を捉え、$ X $ は時間変動する潜在状態を捉える。
• 時間的正則化項を導入し、固定または非構造的な正則化項に代わって、遷移行列 $ M_\Theta $ を学習することで、時系列点間の依存関係をモデル化する。
• 正則化された目的関数を最適化する：$ \min_{F,X} \sum_{(i,t) \in \Omega} (Y_{it} - \mathbf{f}_i^\top \mathbf{x}_t)^2 + \lambda_f \mathcal{R}_f(F) + \lambda_x \mathcal{R}_x(X) $、ここで $ \Omega $ は観測されたエントリを表す。
• 時間的正則化項 $ \mathcal{R}_x(X) $ は、時間的ダイナミクスを符号化する学習された遷移行列に基づく。これにより、事前定義されたグラフに依存せず、データ駆動型の依存関係学習が可能になる。
• 学習された潜在ダイナミクスを活用することで、予測と補完の両方を可能にする。
• 異なる正則化子設定下で、ARモデルやグラフ正則化MFを特別なケースとして包含するなど、既存の複数の手法を一般化する。

実験結果

リサーチクエスチョン

• RQ1 高次元時系列データに欠損値を伴う場合、行列分解を時間的依存関係をモデル化するために効果的に拡張できるか？
• RQ2 固定またはグラフに基づく構造に依存せずに、データから時間的依存関係を学習する方法は何か？
• RQ3 データ駆動型の時間的正則化項を行列分解に組み込むことで、古典的時系列モデルと比較して予測と補完の精度が向上するか？
• RQ4 TRMFは、ウォルマートの販売データや電力消費データのような、欠損値を伴う大規模で現実世界の時系列データセットにもスケーラブルに適用可能か？

主な発見

• 電力および交通データにおいて24時間先の予測において、TRMF-ARはSVD-AR(1)、DLM、TCFをすべて上回り、RMSEが低かった。
• Walmart-1データセットでは、TRMFはテストRMSEが1.239を達成し、DLM（1.453）やTCF（1.320）を著しく下回った。
• 欠損値補完において、TRMFは全テストデータセットおよび欠損度合いにおいて最も低いRMSEを達成した。50％の欠損率下で、交通データではRMSEが0.184を記録し、DLM（0.224）やTCF（0.193）を上回った。
• TRMFは大規模データにおいてもスケーラブルかつ安定しており、R-DLMは $ n \geq 32 $ で実行不能であったのに対し、TRMFは実用的応用において明確な利点を示した。
• TRMFは既存手法を一般化し、ARモデルやグラフ正則化MFを異なる正則化子設定下で特別ケースとして包含しており、柔軟性と理論的基盤の両方を示している。