[論文レビュー] Cross-City Transfer Learning for Deep Spatio-Temporal Prediction

Leye Wang, Geng Xu+3 more|arXiv (Cornell University)|Feb 1, 2018

Traffic Prediction and Management Techniques参考文献 12被引用数 20

ひとこと要約

この論文では、データ豊富なソース都市からデータが乏しいターゲット都市へ知識を転送できる、深層時空間予測のための新規クロスシティ転移学習フレームワークであるRegionTransを提案する。この手法は、都市間の類似した時空間パターンを持つ地域どうしをマッチングすることで、知識転送を実現する。1×1 Conv2D層を用いて領域レベルの表現を抽出し、マッチングされた領域間の表現差を最小化することで、最先端のファインチューニング手法と比較して予測誤差を最大10.7%まで低減する。特にターゲットデータが限られている状況で顕著な効果を示す。

ABSTRACT

Spatio-temporal prediction is a key type of tasks in urban computing, e.g., traffic flow and air quality. Adequate data is usually a prerequisite, especially when deep learning is adopted. However, the development levels of different cities are unbalanced, and still many cities suffer from data scarcity. To address the problem, we propose a novel cross-city transfer learning method for deep spatio-temporal prediction tasks, called RegionTrans. RegionTrans aims to effectively transfer knowledge from a data-rich source city to a data-scarce target city. More specifically, we first learn an inter-city region matching function to match each target city region to a similar source city region. A neural network is designed to effectively extract region-level representation for spatio-temporal prediction. Finally, an optimization algorithm is proposed to transfer learned features from the source city to the target city with the region matching function. Using citywide crowd flow prediction as a demonstration experiment, we verify the effectiveness of RegionTrans. Results show that RegionTrans can outperform the state-of-the-art fine-tuning deep spatio-temporal prediction models by reducing up to 10.7% prediction error.

研究の動機と目的

• 都市コンピューティングにおける時空間予測のデータ不足問題に対処し、データ豊富な都市からデータが乏しい都市へ知識を転送することを目的とする。
• 都市全体ではなく領域レベルで動作する深層転移学習フレームワークを開発し、転送の効率性と正確性を向上させることを目的とする。
• 異なる都市間で負の転送を最小限に抑えるために、時空間ダイナミクスが類似した都市間の地域ペアを同定することを目的とする。
• 実世界の応用例として集団流れ予測を用いて、RegionTransの有効性を示すこと

提案手法

• 短い期間のサービスデータまたは補助データを用いて、ターゲット都市の各領域を類似したソース都市の領域にマッチングするための領域マッチング関数を設計する。
• 時空間的依存関係を捉えるために、スタックされたConvLSTM層を用いて深層時空間モデルを構築する。
• 領域レベルの潜在的表現を抽出・符号化するためのキーコンポーネントとして、1×1 Conv2D層を導入する。
• トレーニング中に、都市間マッチングされた領域ペアの学習済み表現間の差を最小化する最適化アルゴリズムを適用する。
• 領域類似度推定の向上を図るため、サービスデータのみでのマッチング（S-Match）と補助データを活用したマッチング（A-Match）の両方をサポートする。
• マッチングされた領域表現を介して、ソース都市から得た知識を蒸留し、ターゲット都市のモデルをファインチューニングすることで転移学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット都市のデータが限られている状況でも、都市間の領域レベルマッチングが深層時空間予測における知識転送を効果的に可能にするか？
• RQ2 データが乏しい状況下で、RegionTransはファインチューニングされた最先端モデルと比較して予測精度に優れているか？
• RQ3 補助データを用いることで、短い期間のサービスデータに依存する場合と比較して、領域マッチングの質と、結果としての転送性能が向上するか？
• RQ4 D.C.とNYCのような相違が大きい都市間でも、RegionTransは負の転送を回避できるか？
• RQ5 表現差異損失のハイパーパrameter重みにどの程度感度を示し、最適な設定は何か？

主な発見

• RegionTransは、ファインチューニングされた最先端モデルと比較して、予測誤差を最大10.7%まで低減し、データが乏しい環境下での顕著な性能向上を示した。
• 特に、集団流れ記録が1日分しか存在しないような非常に短い履歴を持つターゲット都市において、その改善効果が顕著に現れた。
• 補助データを用いて領域マッチングを行うRegionTrans（A-Match）は、短い期間のサービスデータのみに依存するRegionTrans（S-Match）を上回り、より良いマッチングが転送性能を向上させることを示した。
• D.C.から相違が大きい都市であるNYCへ転送する状況でも、RegionTransはすべてのベースラインと比較して低い誤差を安定して達成した。一方、ファインチューニングモデルは負の転送に苦しんだ。
• 表現差異損失の重み（w）をゼロに設定した場合、誤差が最大5%まで上昇するという顕著な性能低下を示し、都市間の領域マッチングが知識転送において極めて重要な役割を果たしていることを確認した。
• 計算効率が高く、1〜3日分のターゲットデータに対して転移学習を実行するのに50〜100分で完了するため、実世界への導入に適している。