[论文解读] Data Polygamy: The Many-Many Relationships among Urban Spatio-Temporal Data Sets

Fernando Chirigati, Harish Doraiswamy+2 more|Warwick Research Archive Portal (University of Warwick)|Oct 21, 2016

Data Management and Algorithms参考文献 34被引用 33

一句话总结

本文提出了 Data Polygamy，一种可扩展的基于拓扑结构的框架，通过分析多分辨率的空间和时间模式，发现城市时空数据集之间具有统计显著性的多对多关系。在超过300个城市数据集上进行评估，该框架成功识别出有意义且非平凡的关系——例如出租车出行与降雪之间的负相关性，或 Citi Bike 使用量与恶劣天气之间的负相关性——展示了其在真实世界城市数据分析中的可扩展性和有效性。

ABSTRACT

The increasing ability to collect data from urban environments, coupled with a push towards openness by governments, has resulted in the availability of numerous spatio-temporal data sets covering diverse aspects of a city. Discovering relationships between these data sets can produce new insights by enabling domain experts to not only test but also generate hypotheses. However, discovering these relationships is difficult. First, a relationship between two data sets may occur only at certain locations and/or time periods. Second, the sheer number and size of the data sets, coupled with the diverse spatial and temporal scales at which the data is available, presents computational challenges on all fronts, from indexing and querying to analyzing them. Finally, it is non-trivial to differentiate between meaningful and spurious relationships. To address these challenges, we propose Data Polygamy, a scalable topology-based framework that allows users to query for statistically significant relationships between spatio-temporal data sets. We have performed an experimental evaluation using over 300 spatial-temporal urban data sets which shows that our approach is scalable and effective at identifying interesting relationships.

研究动机与目标

• 解决在大规模、异构的城市时空数据集之间发现有意义且非平凡关系的挑战。
• 克服在特定时空分辨率或罕见条件下（例如极端天气）才显现的关系检测难题。
• 使领域专家能够通过识别跨多样化数据源的统计显著关联，生成并测试假设。
• 提供一种可扩展的解决方案，能够处理数百个具有不同空间和时间粒度的数据集之间的关系组合复杂性。

提出的方法

• 采用基于拓扑结构的框架，通过在多个空间和时间分辨率上建模关系，检测非均匀、局部化的相关性。
• 使用基于秩次的相关性度量（例如 Kendall’s tau）评估不同分辨率下关系的统计显著性。
• 应用多分辨率分析，在小时、天、周、月等时间粒度，以及城市、社区或邮区等空间层级上评估关系。
• 通过评分和强度指标进行鲁棒性评估，以过滤虚假或不稳定的关联。
• 利用查询接口，使用户能够通过统计显著的共现模式发现与给定数据集相关的所有其他数据集。
• 优先关注仅在特定条件下（例如强风速或降雪）才出现的关系，而非全局趋势。

实验结果

研究问题

• RQ1 如何系统性地发现仅在特定时空条件下才显现的、具有统计显著性的城市时空数据集之间的关系？
• RQ2 不同空间和时间分辨率的变化对城市环境中有意义数据关系检测的影响是什么？
• RQ3 如何在大规模、异构的城市数据集合中区分有意义关系与虚假关系？
• RQ4 可扩展框架能否识别出非平凡且可操作的关系——例如天气事件与交通行为之间的关系——在多样化城市数据集之间？
• RQ5 在跨多个分辨率分析真实世界城市数据集合时，最具有信息量且稳健的关系是什么？

主要发现

• 在（周，城市）分辨率下，出租车出行数量与平均降雪量之间存在负相关关系（τ = -0.87，ρ = 0.82），表明降雪期间出租车使用减少。
• 在（天，城市）分辨率下，Citi Bike 的唯一数量与平均降雪量（τ = -1.0，ρ = 0.19）和降雨量（τ = -0.62，ρ = 0.44）呈负相关，表明天气影响自行车使用。
• 在（月，城市）分辨率下，平均能见度与交通速度之间存在强烈正相关关系（τ = 1.0，ρ = 0.14），支持能见度差导致车速降低的假设。
• 在（月，城市）分辨率下，出租车唯一数量与平均汽油价格之间存在负相关关系（τ = -1.0，ρ = 0.5），尽管其因果机制尚不明确。
• 在（周，社区）分辨率下，车辆碰撞数量与出租车出行数量之间观察到近乎完美的正相关关系（τ = 0.99，ρ = 0.25），表明可能与城市拥堵或驾驶员行为有关。
• 在（周，社区）分辨率下，311 投诉与 911 呼叫之间发现显著关系（τ = 1.0，ρ = 0.65），表明非紧急事件与紧急事件可能存在共现性。