[論文レビュー] Demand Forecasting from Spatiotemporal Data with Graph Networks and Temporal-Guided Embedding

Doyup Lee, Suehun Jung+3 more|arXiv (Cornell University)|May 26, 2019

Traffic Prediction and Management Techniques参考文献 49被引用数 5

ひとこと要約

本稿では、グラフニューラルネットワークと時系列ガイドド埋め込みを用いた、短時間の需要予測のための軽量で効率的なベースラインとしてTemporal-Guided Network (TGNet)を提案する。TGNetは、順列不変な空間特徴抽出と明示的な時系列コンテキスト符号化を活用することで、最先端のモデルと比較して20倍も少ないパラメータ数（約0.5M）で競争力ある性能を達成し、訓練データにあまり現れないが高インパクトな異常需要イベントにおける優れた一般化性能を示している。

ABSTRACT

Short-term demand forecasting models commonly combine convolutional and recurrent layers to extract complex spatiotemporal patterns in data. Long-term histories are also used to consider periodicity and seasonality patterns as time series data. In this study, we propose an efficient architecture, Temporal-Guided Network (TGNet), which utilizes graph networks and temporal-guided embedding. Graph networks extract invariant features to permutations of adjacent regions instead of convolutional layers. Temporal-guided embedding explicitly learns temporal contexts from training data and is substituted for the input of long-term histories from days/weeks ago. TGNet learns an autoregressive model, conditioned on temporal contexts of forecasting targets from temporal-guided embedding. Finally, our model achieves competitive performances with other baselines on three spatiotemporal demand dataset from real-world, but the number of trainable parameters is about 20 times smaller than a state-of-the-art baseline. We also show that temporal-guided embedding learns temporal contexts as intended and TGNet has robust forecasting performances even to atypical event situations.

研究の動機と目的

• 長期間の歴史的入力を必要とせず、複雑なアーキテクチャを避けることにより、短時間需要予測のための単純だが強力なベースラインモデルを開発すること。
• 学習可能な埋め込みを用いて、周期性や季節性などの明示的な時系列コンテキストをモデル化することで、予測性能を向上させること。
• 訓練データにあまり現れないが高インパクトな需要イベント（例：コンサート、休日）に対して、モデルの一般化性能を高めること。
• 既存の最先端モデルと比較して、性能を維持または向上させながら、モデルの複雑さとパラメータ数を削減すること。
• 実世界の時系列データから学習した時系列パターンの解釈可能な可視化を提供すること。

提案手法

• 隣接領域の順序に依存しない空間特徴抽出が可能な、順列不変な演算を用いたグラフニューラルネットワークを採用し、空間特徴を抽出する。
• 時間帯、曜日、休日状態といった時系列コンテキストを、明示的に符号化するための時系列ガイドド埋め込みを活用する。
• 時系列ガイドド埋め込みを入力需要パターンに連結することで、長期間の歴史的シーケンスに依存せずに、繰り返し現れる時系列パターンをモデルが認識できるようにする。
• 複数のグラフネットワーク層をスタックすることで、統合的なエンドツーエンドフレームワーク内で、複雑な空間時系列依存関係を共同で学習する。
• 実世界のライドシェア需要データセットを用いて、平均二乗誤差（MSE）損失を用いてエンドツーエンドでモデルを学習する。
• 一般化性能を評価するために、平均需要と極端な異常イベントの両方のサンプルで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 長期間の歴史的需要データを使用しない単純で軽量なモデルが、競争力ある予測性能を達成できるか？
• RQ2 時系列ガイドド埋め込みによる明示的な時系列コンテキスト符号化は、予測精度と解釈可能性をどのように向上させるか？
• RQ3 訓練データにあまり現れないが高インパクトな需要イベントに対して、顕著に少ないパラメータ数のモデルが、より優れた一般化性能を示せるか？
• RQ4 順列不変な空間特徴学習は、需要予測において従来の畳み込み演算を上回る性能を示すか？
• RQ5 時系列ガイドド埋め込みは、実世界の需要データにおける時系列パターンをどの程度解釈可能な可視化で示せるか？

主な発見

• TGNetは、実世界のデータセットで最先端の性能を達成しており、NYC-taxiでは1%の上位需要イベントで19.64 RMSE、SEO-taxiでは27.43 RMSEを記録し、STResNet や STDN などのモデルを上回っている。
• 最近の最先端モデルである STDN（約950万パラメータ）と比較して、TGNetは約20倍少ないトレーニング可能なパラメータ数（約50万）を用いながらも、競争力ある正確性を維持している。
• 時系列ガイドド埋め込みにより、t-SNE可視化が可能となり、明確に分離された時系列クラスタ（例：通勤時、夜間、週末）が識別され、休日パターンが週末に隣接する形で示されている。
• TGNetは、異常イベントのサンプルにおいて、ベースラインモデルよりも顕著に優れた一般化性能を示している—SEO-taxiの上位1%イベントでは36.37 RMSEを達成し、GNでは39.91、GN+TGEでは47.32である。
• 他のモデルが大規模データセットで学習に失敗する状況でも、TGNetは強い性能を維持しており、そのロバスト性とスケーラビリティが示されている。
• 降車台数の特徴を組み込むことで、異常イベントの予測精度がさらに向上し、将来的な需要の急増を示す代理指標としての価値があることが示唆された。