[論文レビュー] A Unified Framework for Long Range and Cold Start Forecasting of Seasonal Profiles in Time Series

Christopher Xie, Alex Tank+2 more|arXiv (Cornell University)|Oct 23, 2017

Time Series Analysis and Forecasting参考文献 2被引用数 8

ひとこと要約

本稿では、構造化されたデータ行列における行列分解と高次元回帰を用いて、季節的時系列プロファイルの長期間予測および冷間／温間スタート予測を統合的に扱うフレームワークを提案する。時系列間の時間的パターンとメタデータを活用することで、歴史的データが限られた状況でも高精度な予測が可能となり、実世界のデータセットにおいて、従来の手法よりも冷間スタートおよび長期間予測の両設定で優れた性能を発揮する。

ABSTRACT

Providing long-range forecasts is a fundamental challenge in time series modeling, which is only compounded by the challenge of having to form such forecasts when a time series has never previously been observed. The latter challenge is the time series version of the cold-start problem seen in recommender systems which, to our knowledge, has not been addressed in previous work. A similar problem occurs when a long range forecast is required after only observing a small number of time points --- a warm start forecast. With these aims in mind, we focus on forecasting seasonal profiles---or baseline demand---for periods on the order of a year in three cases: the long range case with multiple previously observed seasonal profiles, the cold start case with no previous observed seasonal profiles, and the warm start case with only a single partially observed profile. Classical time series approaches that perform iterated step-ahead forecasts based on previous observations struggle to provide accurate long range predictions; in settings with little to no observed data, such approaches are simply not applicable. Instead, we present a straightforward framework which combines ideas from high-dimensional regression and matrix factorization on a carefully constructed data matrix. Key to our formulation and resulting performance is leveraging (1) repeated patterns over fixed periods of time and across series, and (2) metadata associated with the individual series; without this additional data, the cold-start/warm-start problems are nearly impossible to solve. We demonstrate that our framework can accurately forecast an array of seasonal profiles on multiple large scale datasets.

研究の動機と目的

• 時系列における長期間予測問題に取り組むこと、特に歴史的データが不足または存在しない（冷間スタート）場合や限られたデータ（温間スタート）がある場合に焦点を当てる。
• 複数の時系列に共通する季節的パターンを扱える、スケーラブルで統合的なフレームワークを構築すること。
• メタデータと繰り返し現れる時間的構造を活用し、データが乏しい状況での予測精度を向上させること。
• 長期間予測における繰り返し段階先予測の誤差蓄積問題を克服すること。

提案手法

• 各行が時系列、各列が時刻ポイントを表すデータ行列を構築し、時系列および年間の季節的パターンを整列させる。
• 複数の時系列に共通する季節的プロファイルを表す低ランクの潜在的成分を抽出するために行列分解を適用する。
• テキスト記述からのTF-IDFベクトルなど、メタデータを補助情報として取り入れ、因子分解プロセスを正則化および誘導する。
• 高次元回帰を用いてメタデータを季節的プロファイルにマップし、学習済みのメタデータからプロファイルへのマッピングにより冷間スタート予測を可能にする。
• 低ランク行列近似とメタデータベースの回帰を組み合わせた正則化最適化問題として問題を定式化する。
• 正則化およびカーネルノードのハイパーパrameterチューニングを含む交差検証を用いて、確率的勾配降下法でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 少数の歴史的観測値しか入手できない状況でも、統合的フレームワークが長期間にわたって季節的プロファイルを効果的に予測できるか？
• RQ2 メタデータを組み込むことで、冷間スタートおよび温間スタートの両状況における予測性能がどのように向上するか？
• RQ3 時系列間の時間的パターンを活用することで、従来の段階先予測モデルと比較して、長期間予測精度がどの程度向上するか？
• RQ4 異なる正則化戦略およびモデルアーキテクチャが、スパースかつ高次元の時系列データに対して性能にどのように影響を与えるか？

主な発見

• 提案フレームワークは、冷間スタートおよび温間スタートの両状況において、従来の自己回帰的および行列分解ベースのベースラインを著しく上回る性能を発揮する。
• メタデータを組み込むことで、過去の季節的プロファイルが観測されていなくても正確な予測が可能となり、季節的時系列の冷間スタート問題が解決される。
• Google Flu Trends（500以上）およびWikipediaページトラフィック（4,031件の記事）の2つの大規模データセットにおいて、平均絶対誤差がベースライン比最大30％まで低減された。
• メタデータ正則化付きのニューラルネットワークおよび関数的回帰モデルは、特にデータが少ない状況で優れた汎化性能を示した。
• データスパarsityの程度に関わらずフレームワークの性能は安定しており、部分的に観測された季節的プロファイルが1つしかない状況でも、精度の低下が最小限に抑えられた。
• 交差検証および検証セットを用いたハイパーパrameterチューニングにより、特にスパースなデータ行列を有する高次元設定において一貫した性能向上が得られた。