[論文レビュー] Deep Learning for Spatio-Temporal Data Mining: A Survey

Senzhang Wang, Jiannong Cao+1 more|arXiv (Cornell University)|Jun 11, 2019

Traffic Prediction and Management Techniques参考文献 181被引用数 33

ひとこと要約

深層学習モデル（CNN、RNN、GraphCNN など）が時空データマイニングに適用される方法の総合的な調査。データタイプ、表現、フレームワーク、応用、今後の方向性を詳述。

ABSTRACT

With the fast development of various positioning techniques such as Global Position System (GPS), mobile devices and remote sensing, spatio-temporal data has become increasingly available nowadays. Mining valuable knowledge from spatio-temporal data is critically important to many real world applications including human mobility understanding, smart transportation, urban planning, public safety, health care and environmental management. As the number, volume and resolution of spatio-temporal datasets increase rapidly, traditional data mining methods, especially statistics based methods for dealing with such data are becoming overwhelmed. Recently, with the advances of deep learning techniques, deep leaning models such as convolutional neural network (CNN) and recurrent neural network (RNN) have enjoyed considerable success in various machine learning tasks due to their powerful hierarchical feature learning ability in both spatial and temporal domains, and have been widely applied in various spatio-temporal data mining (STDM) tasks such as predictive learning, representation learning, anomaly detection and classification. In this paper, we provide a comprehensive survey on recent progress in applying deep learning techniques for STDM. We first categorize the types of spatio-temporal data and briefly introduce the popular deep learning models that are used in STDM. Then a framework is introduced to show a general pipeline of the utilization of deep learning models for STDM. Next we classify existing literatures based on the types of ST data, the data mining tasks, and the deep learning models, followed by the applications of deep learning for STDM in different domains including transportation, climate science, human mobility, location based social network, crime analysis, and neuroscience. Finally, we conclude the limitations of current research and point out future research directions.

研究の動機と目的

• 時空データのタイプとそれらの表現を分類する。
• STDMへの深層学習適用の一般的なフレームワークを提示する。
• 異なるDLモデルがSTデータ表現へどのように適合するかをレビューする。
• 交通、気候科学、人の移動、その他の領域におけるDLベースのSTDMアプリケーションを調査する。
• 制限事項を特定し、今後の研究課題を提案する。

提案手法

• 深層学習を用いたSTDMの一般的なパイプラインを導入する。データインスタンスの構築、データ表現、モデル選択/設計、問題設定の解決。
• STデータをイベント、軌跡、点参照、ラスタ、ビデオタイプに分類し、それらをデータ表現（シーケンス、グラフ、2Dマトリクス、3Dテンソル）に対応付ける。
• DLモデル（CNN、GraphCNN、RNN/LSTM/GRU、ConvLSTM、Seq2Seq、AE/SAE、RBM/DBN、GAN など）と、それらが異なるデータ表現に対して適しているかを調査する。
• 予測、分類、表現学習、異常検知などのSTDMタスクを統一的なフレームワークで議論する。
• 空間的・時系列的相関を捉える前処理手順とハイブリッドモデル設計について指針を提供する。
• データ表現がモデル選択に与える影響を強調する（例: RNNにはシーケンス、CNNにはマトリクス/テンソル、GraphCNNにはグラフ）。
• 代表的な作例とドメイン固有の応用を要約する。

実験結果

リサーチクエスチョン

• RQ1 どのような種類の時空データが存在し、深層学習のためにどのように効果的に表現できるか。
• RQ2 一般的なSTDMタスクにおいて、各STデータタイプと表現に最も適した深層学習モデルはどれか。
• RQ3 汎用フレームワークが分野横断のSTDMへのDL適用をどのように導くか。
• RQ4 現在のDL-STDMアプローチの主要な限界と今後の研究方向は何か。

主な発見

• 2016年以降、STDMのDL論文の急速な増加があり、2018年には特に増加している。
• CNNおよびRNNベースのアーキテクチャ（GraphCNNやConvLSTMを含む）は、空間マップ、ラスタ、軌跡、時系列の処理で最も広く使用されている。
• データのインスタンス化と表現からモデル設計とタスク解決まで、STDMをDLで導くための一般的で体系的なフレームワークが提案されている。
• STデータはイベント、軌跡、点参照、ラスタ、ビデオタイプに分類され、それぞれのデータ表現とDLモデルの対応づけがなされている。
• ハイブリッドモデル（例: CNN+RNN）は、空間的および時間的依存関係の両方を捉えるために一般的である。
• 本調査は、交通、気候科学、人間の移動、位置情報ベースのソーシャルネットワーク、犯罪分析、神経科学などのアプリケーションを網羅し、制限と今後の方向性を論じている。