[论文解读] GeoCUTS: Geographic Clustering Using Travel Statistics.

David Rolnick, Kevin Aydin+3 more|arXiv (Cornell University)|Nov 11, 2016

Complex Network Analysis Techniques参考文献 18被引用 3

一句话总结

GeoCUTS 是一种数据驱动的算法，通过形成地理上连贯的聚类，最小化网络和移动服务 A/B 测试中用户在不同区域之间的移动。通过分析匿名化的移动用户流量以构建移动图，它生成了平衡且低转移的聚类，其性能在全球范围内可与手工制作的美国 DMAs 相媲美，从而实现了可扩展的、保护隐私的实验。

ABSTRACT

Web-based services often run experiments to improve their products. To carry out an effective experiment and evaluate the results appropriately, there must be a control group and at least one treatment group. Ideally all of these groups are disjoint, so that each user is given a specific treatment. Using geographical locations as units of experimentation is desirable because this does not require tracking individual users or browser cookies. With the popularity of mobile devices, a user may issue queries from multiple geographical locations. Hence, to be used as units of experimentation, geographical partitions should be chosen in a way that reduces transit between regions. The strategy of clustering users by region is common in advertising. Designated marketing areas (DMAs) are specifically designed for this purpose. However, DMAs are restricted to the US and their granularity is inflexible (there are around two hundred in total). Moreover, they are built based on population density - one DMA per metropolitan area - rather than mobile movement patterns. In this paper, we present GeoCUTS, an algorithm that forms geographical clusters to minimize movement between clusters while preserving rough balance in cluster size. We use a random sample of anonymized mobile user traffic to form a graph representing user movements, then construct a geographically coherent clustering of the graph. We propose a statistical framework to measure the effectiveness of clusterings and perform empirical evaluations showing that the performance of GeoCUTS is comparable to hand-crafted DMAs with respect to both novel and existing metrics. GeoCUTS offers a general and flexible framework for conducting geo-based experiments in any part of the world.

研究动机与目标

• 解决网络和移动服务中 A/B 测试缺乏灵活、全球适用的地理单位的问题。
• 通过基于实际移动用户流动模式而非人口密度进行聚类，减少实验组之间的用户转移。
• 创建一种通用、可扩展的基于地理位置的实验框架，不依赖用户追踪或 Cookie。
• 使用反映聚类平衡性和组间移动性的统计指标来衡量聚类质量。
• 证明自动生成的聚类在新颖和现有指标下均可达到手工制作 DMAs 的性能水平。

提出的方法

• 从匿名化的移动用户流量构建图，其中节点代表地理区域，边代表用户在区域之间的移动。
• 应用图聚类算法，将移动图划分为地理上连贯的聚类，使组间边权重最小化。
• 通过确保每组用户或区域数量大致相等来优化聚类平衡性，最小化大小差异。
• 使用统计框架基于组间移动性和聚集群大小平衡性来衡量聚类质量。
• 利用用户流量的随机抽样，确保聚类构建过程的可扩展性和隐私性。
• 使用新颖指标和既定基准（包括与美国 DMAs 的比较）对聚类质量进行验证。

实验结果

研究问题

• RQ1 自动化聚类算法能否生成用于实验的地理单位，以最小化组间用户移动？
• RQ2 自动生成的聚类在减少移动和平衡性方面与手工制作的 DMAs 相比表现如何？
• RQ3 基于数据驱动、全球适用的聚类方法在多大程度上可达到基于人口密度的区域特定系统（如 DMAs）的有效性？
• RQ4 哪些统计指标最能反映地理聚类在实验设计中的质量？
• RQ5 是否可能在不追踪个人用户的情况下，仅使用匿名化流量数据实现可比的实验有效性？

主要发现

• GeoCUTS 生成的聚类组间移动水平与手工制作的美国 DMAs 相当，表明组间具有较强的隔离性。
• 该算法实现了聚类大小的平衡，最小化了方差，确保了实验组的统计可靠性。
• GeoCUTS 在移动减少和聚类平衡性指标上均优于基线聚类方法。
• 该框架使任何地区（而不仅限于美国）都能有效开展基于地理位置的实验，克服了 DMAs 在地理和结构上的局限性。
• 实证评估证实，GeoCUTS 的聚类质量在新颖和现有性能指标上均达到或超过 DMAs 水平。
• 使用匿名化流量数据可实现可扩展、保护隐私的聚类生成，且无需依赖用户标识符或追踪技术。