[論文レビュー] Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting

Xinyu Chen, Lijun Sun|arXiv (Cornell University)|Jun 18, 2020

Tensor decomposition and applications参考文献 30被引用数 20

ひとこと要約

本稿では、多変数時系列をセンサー × 時刻（日中） × 日の3階テンソルに変換することで、グローバルな低ランクパターンとローカルな自己回帰的トレンドを同時にモデル化する、Low-Rank Autoregressive Tensor Completion (LATC) を提案する。LATC は、テンソル核ノルム最小化と新規の自己回帰的ノルムを統合することで、3つの実世界データセットにおいて欠損値補完およびローリング予測の両面で最先端の性能を達成している。

ABSTRACT

Time series prediction has been a long-standing research topic and an essential application in many domains. Modern time series collected from sensor networks (e.g., energy consumption and traffic flow) are often large-scale and incomplete with considerable corruption and missing values, making it difficult to perform accurate predictions. In this paper, we propose a low-rank autoregressive tensor completion (LATC) framework to model multivariate time series data. The key of LATC is to transform the original multivariate time series matrix (e.g., sensor$ imes$time point) to a third-order tensor structure (e.g., sensor$ imes$time of day$ imes$day) by introducing an additional temporal dimension, which allows us to model the inherent rhythms and seasonality of time series as global patterns. With the tensor structure, we can transform the time series prediction and missing data imputation problems into a universal low-rank tensor completion problem. Besides minimizing tensor rank, we also integrate a novel autoregressive norm on the original matrix representation into the objective function. The two components serve different roles. The low-rank structure allows us to effectively capture the global consistency and trends across all the three dimensions (i.e., similarity among sensors, similarity of different days, and current time v.s. the same time of historical days). The autoregressive norm can better model the local temporal trends. Our numerical experiments on three real-world data sets demonstrate the superiority of the integration of global and local trends in LATC in both missing data imputation and rolling prediction tasks.

研究の動機と目的

• 欠損値および汚損を伴う大規模かつ不完全な多変数時系列における正確な予測の課題に対処する。
• 高次元かつ不完全なデータにおけるグローバルな時間的パターンとローカルなダイナミクスの両方を扱えず、性能に制限を受ける従来のモデルの限界を克服する。
• 補完と予測を統一的なテンソル補完問題として扱うフレームワークを構築する。
• センサー、時刻（日中）、日という3つの次元にまたがるグローバルな低ランク構造とローカルな自己回帰的ダイナミクスを統合し、予測精度を向上させる。
• テンソル構造を活用して複雑な時空間的依存関係をよりよくモデル化することで、すべての観測データが最終的な予測に寄与できるようにする。

提案手法

• 時系列の元の多変数時系列行列（センサー × 時系列ポイント）を、日次および週次周期性を捉えるために3階テンソル（センサー × 時刻（日中） × 日）に変換する。
• すべての3次元にわたる低ランク構造を強制するために、テンソル核ノルム最小化と切り捨て核ノルム最小化を適用し、グローバルな一貫性と長期的トレンドをモデル化する。
• 元の行列表現に新しい自己回帰的ノルムを導入し、短期的でローカルな時間的ダイナミクスおよび微細な時間的相関を捉える。
• 目的関数を低ランクテンソル補完と自己回帰的正則化の組み合わせとして定式化し、同時に最適化を可能にする。
• 非凸かつ非滑らかである最適化問題を解くために、交替方向乗数法（ADMM）または類似の最適化手法を用いる。
• 観測データ上でエンドツーエンドにモデルを学習し、欠損値と将来の時系列ポイントを予測する。予測ウィンドウはユーザーが定義する。

実験結果

リサーチクエスチョン

• RQ1 多変数時系列をテンソル構造に変換することで、欠損値が存在する中でグローバルおよびローカルな時間的パターンのモデリングが向上するか？
• RQ2 低ランクテンソル補完と自己回帰的ノルムの統合は、単独で用いる場合と比較して、時系列予測においてどのように優れているか？
• RQ3 LATC は、補完およびローリング予測の両タスクにおいて、最先端の行列ベースおよびテンソルベースのモデルをどの程度上回るか？
• RQ4 テンソル表現は、日次および時刻（日中）の履歴パターンを含む、すべての観測データの利用を、行列ベースのアプローチよりも効果的に可能にするか？
• RQ5 LATC は、顕著な欠損を伴う大規模かつ高次元の時系列を、計算上の実行可能性を保ちながら効果的に処理できるか？

主な発見

• LATC は、3つの実世界データセットすべてにおいて最高の補完精度を達成し、低ランクテンソルモデル（例：HaLRTC）および行列ベースのモデル（例：TRMF、BTMF）を上回っている。
• 自己回帰的ノルムの統合により、純粋な低ランクモデルよりも性能が著しく向上しており、LATC-TNN がすべての補完および予測タスクで HaLRTC-TNN を上回っていることが示された。
• ローリング予測において、LATC-TNN は元のデータ（P）で平均 MAPE 6.39、RMSE 4.97 を達成し、TRMF（11.30/7.19）および BTMF（8.83/5.95）を大きく上回った。
• 40%の欠損値を伴う ETT データセット（非MAR：NM 条件下）では、LATC-TNN が MAPE 7.88、RMSE 5.65 を達成し、次善のモデル（12.67/4.87）を顕著に上回った。
• 結果から、不完全な時系列予測において、グローバル（低ランク）およびローカル（自己回帰的）なパターンの両方をモデリングすることが、強固な性能を発揮するために不可欠であることが明らかになった。
• LATC-TNN は、常にその NN ベースの対応モデル（LATC-NN）を上回っていることから、低ランクテンソル構造が長期的依存関係を捉えるのに有効であることが確認された。