[論文レビュー] Structured Time Series Prediction without Structural Prior

Darko Drakulić, Jean‐Marc Andreoli|arXiv (Cornell University)|Feb 7, 2022

Traffic Prediction and Management Techniques被引用数 4

ひとこと要約

本稿では、グラフなどの構造的事前知識に依存しない、データ駆動型のアテンションベースのモデルADNを提案する。空間的・時間的次元における学習可能なマルチヘッドアテンションを活用することで、最小限のデータでも最先端の性能を達成し、欠損データ処理や少データのドメイン適応において、グラフベースのモデルを上回る性能を発揮する。特に、2日間のファインチューニングデータでの微調整でも、性能が著しく向上する。

ABSTRACT

Time series prediction is a widespread and well studied problem with applications in many domains (medical, geoscience, network analysis, finance, econometry etc.). In the case of multivariate time series, the key to good performances is to properly capture the dependencies between the variates. Often, these variates are structured, i.e. they are localised in an abstract space, usually representing an aspect of the physical world, and prediction amounts to a form of diffusion of the information across that space over time. Several neural network models of diffusion have been proposed in the literature. However, most of the existing proposals rely on some a priori knowledge on the structure of the space, usually in the form of a graph weighing the pairwise diffusion capacity of its points. We argue that this piece of information can often be dispensed with, since data already contains the diffusion capacity information, and in a more reliable form than that obtained from the usually largely hand-crafted graphs. We propose instead a fully data-driven model which does not rely on such a graph, nor any other prior structural information. We conduct a first set of experiments to measure the impact on performance of a structural prior, as used in baseline models, and show that, except at very low data levels, it remains negligible, and beyond a threshold, it may even become detrimental. We then investigate, through a second set of experiments, the capacity of our model in two respects: treatment of missing data and domain adaptation.

研究の動機と目的

• 多変量時系列予測において、手作業で作成されたグラフなどの構造的事前知識に依存するモデルの限界を是正すること。
• 空間的・時間的関係に関する事前知識を仮定せずに、純粋にデータから依存関係を学習するモデルの開発。
• 構造的事前知識がモデル性能に与える影響を評価し、十分なデータが利用可能な場合に、それらが逆効果になる可能性を示すこと。
• 欠損データ処理におけるモデルの頑健性と、最小限のラベル付きデータでの少データドメイン適応の有効性を調査すること。

提案手法

• ADNモデルは、イベントグリッド（場所×時刻）の空間的（N）および時間的（T）次元に逐次的にマルチヘッドアテンションを適用する標準的なエンコーダ・デコーダアーキテクチャを採用する。
• テンソルの次元を再編成することでアテンションを実装：空間的（N）および時間的（T）次元を交互にバッチ次元（B）に統合し、各次元ごとに独立してアテンションを計算可能にする。
• 位置エンコーディングは使用せず、デコーダの自己アテンションにおける因果マスクにより時系列の順序を強制し、予測が過去の事象にのみ依存するようにする。
• ドメイン適応のためには、ターゲットドメインの場所埋め込みのみを再学習し、他のすべてのパラメータ（アテンション重みや時刻埋め込みなど）は固定する。
• 構造的バイアスを一切持たない状態で、短期間予測タスクに対して標準的な回帰損失を用いてエンドツーエンドで学習する。
• 軽量かつ完全に微分可能であり、少量のターゲットドメインデータでも効率的なファインチューニングが可能である。

実験結果

リサーチクエスチョン

• RQ1 十分な学習データが利用可能な状況下で、構造的事前知識（例：グラフ）の使用が時系列予測性能を顕著に向上させるのか？
• RQ2 構造的事前知識を一切持たないデータ駆動型モデルが、そのような事前知識に依存する最先端モデルと同等またはそれ以上の性能を達成できるか？
• RQ3 提案モデルは多変量時系列における欠損データをどの程度効果的に処理できるか？
• RQ4 ターゲットドメインからの最小限のラベル付きデータで、どの程度新しいドメインに一般化できるか？
• RQ5 明示的な位置エンコーディングなしで、周期的な日次リズムなどの時間的パターンを学習できるか？

主な発見

• 十分なデータが利用可能になると、構造的事前知識に依存するモデルの性能は低下するか、逆効果となることが判明し、データが豊富な状況ではそれらの事前知識が必ずしも必要ではないことが示された。
• グラフベースのモデル（例：STGAT）でさえ、構造的事前知識を一切持たないADNが、特に数日分のターゲットデータでのファインチューニングにより、同等またはそれ以上の性能を達成する。
• わずか2日間のファインチューニングデータでの学習でも、ADNはファインチューニングなしのゼロショット適応（STGATと同等）の性能に達し、その後も継続的に向上を示す。
• 位置エンコーディングを一切使用せず、アテンションメカニズムのみに依存して、時間的順序を学習し、日次リズムの周期的性質を正しく捉える。
• ドメイン適応においては、ターゲットドメインの場所埋め込みのみを再学習すればよく、パラメータ更新が最小限で効率的な転移が可能である。
• ADNは、固定されたグラフ構造に依存せず、観測されたデータパターンから直接依存関係を学習するため、欠損データ処理において優れた頑健性を示す。