[论文解读] HDBSCAN: Density based Clustering over Location Based Services

Farhadur Rahman, Weimo Liu+4 more|arXiv (Cornell University)|Feb 11, 2016

Data Management and Algorithms参考文献 16被引用 6

一句话总结

本文提出 HDBSCAN，一种新颖的算法，仅通过 kNN 查询接口即可在基于位置的服务（LBS）上实现基于密度的聚类。通过利用自适应空间填充曲线将二维点映射到一维空间，该算法对变换后的数据进行聚类，并通过合并聚类来恢复空间结构，在极低的 kNN 查询次数下实现高精度，即使在严格的查询速率限制下亦能保持高效。

ABSTRACT

Location Based Services (LBS) have become extremely popular and used by millions of users. Popular LBS run the entire gamut from mapping services (such as Google Maps) to restaurants (such as Yelp) and real-estate (such as Redfin). The public query interfaces of LBS can be abstractly modeled as a kNN interface over a database of two dimensional points: given an arbitrary query point, the system returns the k points in the database that are nearest to the query point. Often, k is set to a small value such as 20 or 50. In this paper, we consider the novel problem of enabling density based clustering over an LBS with only a limited, kNN query interface. Due to the query rate limits imposed by LBS, even retrieving every tuple once is infeasible. Hence, we seek to construct a cluster assignment function f(.) by issuing a small number of kNN queries, such that for any given tuple t in the database which may or may not have been accessed, f(.) outputs the cluster assignment of t with high accuracy. We conduct a comprehensive set of experiments over benchmark datasets and popular real-world LBS such as Yahoo! Flickr, Zillow, Redfin and Google Maps.

研究动机与目标

• 在仅暴露 kNN 查询接口而无直接数据库访问权限的 LBS 数据库上，实现基于密度的聚类。
• 解决 Google Maps、Redfin 和 Zillow 等 LBS 平台中查询速率受限以及全量数据获取成本高昂的挑战。
• 设计一个聚类函数 f(·)，仅通过少量 kNN 查询即可对任意元组实现高精度的聚类标签分配。
• 克服基于采样的方法在处理不规则形状聚类和异常值方面的局限性。
• 为第三方客户端和研究人员提供一种实用且可扩展的解决方案，使其无需访问数据提供方即可对 LBS 数据进行宏观层面的分析。

提出的方法

• 使用自适应空间填充曲线（SFC）将二维地理点映射到一维空间，以保留局部密度和空间邻近性。
• 在变换后的数据上应用一维聚类算法，识别初始聚类。
• 基于密度阈值合并相邻的一维聚类，形成连贯的二维聚类。
• 使用 kNN 查询采样关键点，推断聚类结构，而无需检索所有元组。
• 构建聚类分配函数 f(·)，基于已知聚类中心的邻近度，预测任意未访问元组的聚类归属。
• 通过将 f(·) 的输出与完整数据集上的真实 DBSCAN 结果对比，验证聚类质量。

实验结果

研究问题

• RQ1 仅通过 kNN 查询接口且无全量数据库访问权限，能否在 LBS 平台上有效实现基于密度的聚类？
• RQ2 如何仅通过极少的 kNN 查询构建聚类函数 f(·)，以实现高精度的聚类分配？
• RQ3 自适应空间填充曲线是否能有效保留二维到一维映射过程中的空间密度与聚类结构？
• RQ4 HDBSCAN 在真实世界 LBS 数据（如 Redfin、Zillow、Google Maps）上的表现相较于传统 DBSCAN 如何？
• RQ5 HDBSCAN 是否能在无全量数据访问的前提下，识别出有意义的空间模式，如城市热点区域、租赁趋势或兴趣点（POI）分组？

主要发现

• HDBSCAN 在真实世界 LBS 数据中成功发现形状多样的聚类，包括达拉斯-沃斯堡（DFW）地区的城市与乡村住宅聚类，其分布与实际空间格局一致。
• DFW 城市中心区域（如达拉斯和沃斯堡）的聚类显示出更高的平均房价，证实该方法能捕捉到有意义的经济模式。
• 该算法识别出 Capital Bikeshare 站点的显著使用模式：市中心站点在晚间出现使用高峰，外围站点则在早晨和晚间各出现一次高峰。
• 各聚类中房屋价格分布符合预期：城市聚类位于直方图右侧（价格较高），乡村聚类位于左侧（价格较低）。
• 与基于采样的基线方法相比，HDBSCAN 更好地处理了任意形状的聚类，并更有效地识别出异常值。
• 该方法在极低 kNN 查询次数下实现了高精度的聚类分配，使其在 Google Maps 等 LBS API 的严格查询速率限制下依然可行。