[論文レビュー] Learning from Multiple Cities: A Meta-Learning Approach for Spatial-Temporal Prediction

Huaxiu Yao, Yiding Liu+3 more|arXiv (Cornell University)|Jan 24, 2019

Traffic Prediction and Management Techniques参考文献 46被引用数 8

ひとこと要約

本稿では、複数のデータ豊富な都市から空間時系列知識を転移させることで、データが乏しいターゲット都市における予測を向上させるメタラーニングフレームワーク、MetaSTを提案する。モデル初期化をよく一般化させるとともに、パターンベースのメモリを活用して長期周期性を抽出することで、MetaSTは交通および水質予測タスクで最先端の性能を達成し、ベースライン平均で7.7%の向上を達成した。

ABSTRACT

Spatial-temporal prediction is a fundamental problem for constructing smart city, which is useful for tasks such as traffic control, taxi dispatching, and environmental policy making. Due to data collection mechanism, it is common to see data collection with unbalanced spatial distributions. For example, some cities may release taxi data for multiple years while others only release a few days of data; some regions may have constant water quality data monitored by sensors whereas some regions only have a small collection of water samples. In this paper, we tackle the problem of spatial-temporal prediction for the cities with only a short period of data collection. We aim to utilize the long-period data from other cities via transfer learning. Different from previous studies that transfer knowledge from one single source city to a target city, we are the first to leverage information from multiple cities to increase the stability of transfer. Specifically, our proposed model is designed as a spatial-temporal network with a meta-learning paradigm. The meta-learning paradigm learns a well-generalized initialization of the spatial-temporal network, which can be effectively adapted to target cities. In addition, a pattern-based spatial-temporal memory is designed to distill long-term temporal information (i.e., periodicity). We conduct extensive experiments on two tasks: traffic (taxi and bike) prediction and water quality prediction. The experiments demonstrate the effectiveness of our proposed model over several competitive baseline models.

研究の動機と目的

• データが乏しい都市における空間時系列予測を、複数のデータ豊富なソース都市からの知識を活用することで解決すること。
• 単一のソースではなく、複数の多様な都市からの知識を転移させることで、モデルの一般化性能と適応安定性を向上させること。
• 長期周期的パターン（例：日次・週次サイクル）をソース都市から抽出し、データ期間が短いターゲット都市における予測を向上させること。
• 新しいデータが乏しいターゲット都市に、空間時系列モデルを素早く効果的に適応できるメタラーニングフレームワークを開発すること。

提案手法

• 空間的特徴には局所的畳み込みニューラルネットワーク（CNN）、時系列依存性にはLSTMを組み合わせた空間時系列ニューラルネットワーク（ST-net）を設計した。
• メタラーニングを適用し、ST-netのwell-generalizedな初期化を学習することで、少数のサンプルでの新しいターゲット都市への素早い適応を可能にした。
• 複数のソース都市から長期周期的パターン（例：月次・週次サイクル）を抽出するための、グローバルなパターンベースの空間時系列メモリを導入した。
• メモリ表現は、時系列パターンのDTW距離に基づくK-meansクラスタリングにより学習され、地域固有の周期的行動を捉えた。
• 再構成損失とメタラーニング損失を組み合わせたジョイント損失関数を採用し、適応とメモリ学習のバランスを取るために、調整ハイパーパrameter γ を導入した。
• モデルは複数のソース都市で訓練され、少数ショット適応を用いてターゲット都市でファインチューニングされ、限られたターゲットデータでも効果的な転移が可能となった。

実験結果

リサーチクエスチョン

• RQ1 単一ソース転送と比較して、複数のソース都市からの知識転送は、データが乏しいターゲット都市における予測性能を向上させることができるか？
• RQ2 メタラーニングフレームワークは、データが限られた新しいターゲット都市に、空間時系列モデルを素早くかつ安定して適応可能にするか？
• RQ3 長期周期的パターン（例：週次・月次サイクル）は、ソース都市から効果的に抽出され、ターゲット都市における予測を向上させることができるか？
• RQ4 周期性を捉えるパターンベースのメモリを組み込むことで、標準的な転送学習ベースラインと比較して、モデルの一般化性能と性能が向上するか？

主な発見

• MetaSTは、水質予測タスクにおいて、すべてのベースライン平均で7.7%の相対的向上を達成し、特にデータが乏しい地域で顕著な向上を示した。
• 非転送および単一ソース転送ベースラインを上回る性能を示し、多都市からの知識転送が、安定性と一般化性能の向上に寄与することを実証した。
• パターンベースの空間時系列メモリは、長期周期的パターン（例：月次pHサイクル）を効果的に抽出・転送でき、正確な環境予測に不可欠な要因を捉えた。
• ハイパーパrameter分析の結果、メモリ次元d=4およびトレードオフ係数γ=10⁻⁴が最適な性能をもたらし、損失のバランスと適切なメモリ容量の重要性を示した。
• MetaSTは、MAMLおよびMulti-FTベースラインを著しく上回り、構造的なメモリと多ソース転送が、汎用的初期化や単純なデータ混合よりも効果的であることを示唆した。
• 多数のターゲット都市および予測タスクにわたり一貫した性能向上が得られたことから、モデルは多様な空間時系列パターンに優れた一般化性能を示した。