[論文レビュー] Data Polygamy: The Many-Many Relationships among Urban Spatio-Temporal Data Sets

Fernando Chirigati, Harish Doraiswamy+2 more|Warwick Research Archive Portal (University of Warwick)|Oct 21, 2016

Data Management and Algorithms参考文献 34被引用数 33

ひとこと要約

本論文では、多スケールの空間的・時間的パターンを分析することにより、都市の空間時間的データセット間の統計的に有意な多対多関係を発見するスケーラブルなトポロジーに基づくフレームワーク、Data Polygamyを提案する。300以上の都市データセットを対象に評価した結果、タクシー利用と降雪量の負の相関関係、またはCiti Bike利用と悪天候の関係など、意味のある非自明な関係が効果的に特定された。これは、現実の都市データ分析においてスケーラビリティと有効性を示している。

ABSTRACT

The increasing ability to collect data from urban environments, coupled with a push towards openness by governments, has resulted in the availability of numerous spatio-temporal data sets covering diverse aspects of a city. Discovering relationships between these data sets can produce new insights by enabling domain experts to not only test but also generate hypotheses. However, discovering these relationships is difficult. First, a relationship between two data sets may occur only at certain locations and/or time periods. Second, the sheer number and size of the data sets, coupled with the diverse spatial and temporal scales at which the data is available, presents computational challenges on all fronts, from indexing and querying to analyzing them. Finally, it is non-trivial to differentiate between meaningful and spurious relationships. To address these challenges, we propose Data Polygamy, a scalable topology-based framework that allows users to query for statistically significant relationships between spatio-temporal data sets. We have performed an experimental evaluation using over 300 spatial-temporal urban data sets which shows that our approach is scalable and effective at identifying interesting relationships.

研究の動機と目的

• 大規模で多様な都市の空間時間的データセット間の意味のある非自明な関係を同定する課題に対処すること。
• 特定の空間時間的スケールや稀な状態（例：極端な天候）でのみ顕在化する関係を検出する困難を克服すること。
• ドメインエキスパートが多様なデータソース間で統計的に有意な関連性を同定することで、仮説を生成・検証できるようにすること。
• 空間的・時間的グレインが異なる数百のデータセット間の関係の組み合わせ的複雑性を扱えるスケーラブルなソリューションを提供すること。

提案手法

• 非一様で局所的な相関関係を検出するために、複数の空間的・時間的スケールで関係をモデル化するトポロジーに基づくフレームワークを採用する。
• 異なるスケールでの関係の統計的有意性を評価するために、ランクベースの相関測度（例：ケンドールのtau）を用いる。
• 時間的スケール（時間、日、週、月）および空間的スケール（都市、近隣地域、郵便番号）での粒度で、多スケール分析を実施する。
• スコアと強度のメトリクスを用いたレジリエンス評価を適用し、誤検出や不安定な関係をフィルタリングする。
• 統計的に有意な共起パターンを通じて、特定のデータセットに関連するすべてのデータセットを発見できるクエリインターフェースを統合する。
• 例えば強風や降雪のような特定の条件下でのみ顕在化する関係を、グローバルトレンドよりも優先的に扱う。

実験結果

リサーチクエスチョン

• RQ1 特定の空間時間的条件下でのみ顕在化する統計的に有意な都市の空間時間的データセット間の関係を、体系的かつ効果的に発見するにはどうすればよいか？
• RQ2 空間的・時間的スケールを変化させた場合、都市環境における意味のあるデータ関係の検出にどのような影響を与えるか？
• RQ3 大規模で多様な都市データコレクションにおいて、意味のある関係と誤検出の関係をどのように区別できるか？
• RQ4 スケーラブルなフレームワークは、天候イベントと交通行動の関係など、非自明で実行可能な関係を、多様な都市データセットにわたって同定できるか？
• RQ5 複数のスケールにわたって分析した場合、現実の都市データコレクションから得られる最も情報量が多く、かつ頑健な関係は何か？

主な発見

• （週、都市）スケールにおいて、タクシー利用数と平均降雪量の間には負の相関関係が確認された（τ = -0.87, ρ = 0.82）。これは、雪の影響でタクシー利用が減少することを示している。
• （日、都市）スケールにおいて、Citi Bikeのユニークな利用数は、平均降雪量（τ = -1.0, ρ = 0.19）および降水量（τ = -0.62, ρ = 0.44）と負の相関関係にあった。これは天候が自転車利用に影響を与える可能性を示唆している。
• （月、都市）スケールにおいて、平均視界距離と交通速度の間に強い正の相関関係が確認された（τ = 1.0, ρ = 0.14）。これは視界が悪いと運転が遅くなるという仮説を支持する。
• （月、都市）スケールにおいて、タクシーのユニークな数と平均ガソリン価格の間に負の相関関係が確認された（τ = -1.0, ρ = 0.5）。ただし、因果関係はまだ明確でない。
• （週、近隣地域）スケールにおいて、車両事故数とタクシー利用数の間にほぼ完璧な正の相関関係が観察された（τ = 0.99, ρ = 0.25）。これは都市の混雑状態やドライバー行動との関連性を示唆している。
• （週、近隣地域）スケールにおいて、311通報と911通報の間に顕著な関係が確認された（τ = 1.0, ρ = 0.65）。これは非緊急と緊急の事象が同時に発生する可能性を示している。