[論文レビュー] D-GAN: Deep Generative Adversarial Nets for Spatio-Temporal Prediction

Divya Saxena, Jiannong Cao|arXiv (Cornell University)|Jul 19, 2019

Traffic Prediction and Management Techniques参考文献 21被引用数 27

ひとこと要約

本稿では、空間的・時系列的予測のための新しい深層生成的敵対的ネットワーク、D-GAN を提案する。D-GAN は教師なしの方法で潜在表現を共同で学習し、変分推論を実行する。複雑な非線形な空間的・時系列的依存関係をモデル化し、統合モジュールを介して外部要因を統合することで、実世界のタクシー需要および交通フローのデータセットにおいて、従来の手法および深層学習ベースラインを上回る最先端の性能を達成する。

ABSTRACT

Spatio-temporal (ST) data for urban applications, such as taxi demand, traffic flow, regional rainfall is inherently stochastic and unpredictable. Recently, deep learning based ST prediction models are proposed to learn the ST characteristics of data. However, it is still very challenging (1) to adequately learn the complex and non-linear ST relationships; (2) to model the high variations in the ST data volumes as it is inherently dynamic, changing over time (i.e., irregular) and highly influenced by many external factors, such as adverse weather, accidents, traffic control, PoI, etc.; and (3) as there can be many complicated external factors that can affect the accuracy and it is impossible to list them explicitly. To handle the aforementioned issues, in this paper, we propose a novel deep generative adversarial network based model (named, D-GAN) for more accurate ST prediction by implicitly learning ST feature representations in an unsupervised manner. D-GAN adopts a GAN-based structure and jointly learns generation and variational inference of data. More specifically, D-GAN consists of two major parts: (1) a deep ST feature learning network to model the ST correlations and semantic variations, and underlying factors of variations and irregularity in the data through the implicit distribution modelling; (2) a fusion module to incorporate external factors for reaching a better inference. To the best our knowledge, no prior work studies ST prediction problem via deep implicit generative model and in an unsupervised manner. Extensive experiments performed on two real-world datasets show that D-GAN achieves more accurate results than traditional as well as deep learning based ST prediction methods.

研究の動機と目的

• 複雑で非線形な依存関係と多数の未記載の外部要因を有する、極めて不規則で動的な空間的・時系列的データを予測する課題に対処すること。
• 明示的なラベル付けや外部要因の列挙を必要とせず、空間的・時系列的特徴表現を暗黙的に学習する深層生成モデルを開発すること。
• 教師なしフレームワーク内で生成と推論を共同最適化することで、実世界の都市応用における予測精度を向上させること。
• 暗黙的な分布学習を通じて、空間的・時系列的データの意味的変動および不規則性をモデル化すること。
• 天候、交通制御、ポイント・オブ・インタレスト（PoI）などの外部要因を、専用の統合モジュールを介して予測フレームワークに統合すること。

提案手法

• D-GAN は、実際の空間的・時系列的データ分布を学習するため、生成器と識別器を同時に訓練する GAN ベースのアーキテクチャを採用する。
• 深層空間的・時系列的特徴学習ネットワークは、データ分布の暗黙的モデリングを通じて、データ内の複雑な相関関係および潜在的な変動を捉える。
• 変分推論部により、真のラベルが不要な状態で観測データから潜在表現を推論できる。
• 統合モジュールは、外部の文脈的要因（例：天候、PoI、交通制御）を潜在空間に統合し、予測性能を向上させる。
• 生成と推論の両方を最適化するため、敵対的損失と再構成損失を活用して、エンド・トゥ・エンドで教師なしに学習する。
• 生成器は将来の空間的・時系列シーケンスを生成し、識別器は実際のシーケンスと生成されたシーケンスを区別することで、現実的で多様な予測を促進する。

実験結果

リサーチクエスチョン

• RQ1 明示的なラベルなしで、複雑で非線形な空間的・時系列的依存関係を、深層生成的敵対的ネットワークが効果的にモデル化できるか。
• RQ2 教師なしモデルは、動的な空間的・時系列的シーケンスの意味的変動および不規則性を捉える潜在表現をどれほど効果的に学習できるか。
• RQ3 外部の文脈的要因を統合することで、空間的・時系列的予測の精度はどの程度向上するか。
• RQ4 生成と変分推論の共同最適化は、従来の深層学習モデルと比較して、より優れた予測性能をもたらすか。
• RQ5 実世界の空間的・時系列的データセットにおいて、D-GAN は最先端の手法と比較して、精度および頑健性の点でどの程度優れているか。

主な発見

• D-GAN は、タクシー需要および交通フローの両データセットにおいて、従来の統計モデルおよび深層学習ベースラインを上回る優れた予測精度を達成する。
• 複数の時間窓において予測誤差（RMSE で測定）が顕著に低減され、データの不規則性に対しても頑健であることが示された。
• 統合モジュールによる外部要因の統合は、特に変動が大きい状況下で、予測性能の明確な向上をもたらした。
• 教師なし学習フレームワークにより、ラベル付きデータやすべての外部要因の明示的モデリングを必要とせず、良好な一般化性能を達成できる。
• アブレーションスタディの結果、生成部および推論部の両方が最終的な性能に有意義に寄与していることが確認され、共同学習アプローチの有効性が裏付けられた。
• 定性的な分析および識別器の評価により、モデルが多様で現実的な将来のシーケンスを生成していることが確認された。