[论文解读] D4D-Senegal: The Second Mobile Phone Data for Development Challenge

Yves-Alexandre de Montjoye, Zbigniew Smoreda+3 more|arXiv (Cornell University)|Jul 18, 2014

Human Mobility and Location-Based Analysis参考文献 2被引用 111

一句话总结

本论文介绍了D4D-Senegal项目，这是一个大规模移动电话数据挑战，提供塞内加尔2013年900万名用户的匿名化通话详单记录（CDR），包含三个保护隐私的数据集：按小时计算的站点间流量、约30万名用户的精细化2周移动轨迹，以及约15万名用户的粗粒度年度区级移动数据。该研究在降低重新识别风险的同时，通过空间扰动、时间分箱和行为指标的3-匿名化，支持了新颖的社会经济研究。

ABSTRACT

The D4D-Senegal challenge is an open innovation data challenge on anonymous call patterns of Orange's mobile phone users in Senegal. The goal of the challenge is to help address society development questions in novel ways by contributing to the socio-economic development and well-being of the Senegalese population. Participants to the challenge are given access to three mobile phone datasets. This paper describes the three datasets. The datasets are based on Call Detail Records (CDR) of phone calls and text exchanges between more than 9 million of Orange's customers in Senegal between January 1, 2013 to December 31, 2013. The datasets are: (1) antenna-to-antenna traffic for 1666 antennas on an hourly basis, (2) fine-grained mobility data on a rolling 2-week basis for a year with bandicoot behavioral indicators at individual level for about 300,000 randomly sampled users, (3) one year of coarse-grained mobility data at arrondissement level with bandicoot behavioral indicators at individual level for about 150,000 randomly sampled users

研究动机与目标

• 通过大规模、匿名化的移动电话元数据，支持塞内加尔的数据驱动型发展研究。
• 通过实施空间扰动、时间分箱和行为指标的3-匿名化，解决移动电话数据中的隐私风险。
• 通过向研究人员提供三个具有实用性和隐私性平衡的数据集，支持开放创新，用于社会经济分析。
• 通过共享数据和协作平台，促进国际研究人员与塞内加尔本地机构之间的合作。
• 通过提供一个真实世界的数据集，用于在大规模上研究人类移动性、社交网络和行为模式，推动计算社会科学的发展。

提出的方法

• 使用别名化和移除真实地理坐标的手段，对900万个唯一移动电话号码进行匿名化处理。
• 通过Voronoi单元随机化实现空间扰动，以模糊真实基站位置，降低重新识别风险。
• 基于两个标准筛选用户：每个周期内活跃天数超过75%，且每周互动次数少于1,000次，以排除机器或共用设备。
• 创建三个数据集：(1) 每小时站点间流量，(2) 以站点为单位的2周滚动精细化移动轨迹，(3) 以区为单位的年度粗粒度移动数据。
• 使用Bandicoot工具箱计算行为指标，包括联系人熵、活跃天数和通话时长均值。
• 对分箱后的行为数据中指示异常值的指标应用3-匿名化，以进一步保护隐私。

实验结果

研究问题

• RQ1 在发展中国家背景下，如何利用移动电话通话详单记录大规模推断社会经济模式和移动行为？
• RQ2 在发布大规模移动电话元数据用于研究时，数据实用性与隐私保护之间的权衡是什么？
• RQ3 经过匿名化和聚合处理的移动电话数据能否有效支持塞内加尔的有意义发展研究，如贫困监测或城市规划？
• RQ4 从CDR中推导出的行为指标与塞内加尔现实社会经济状况的相关性如何？
• RQ5 在不损害研究实用性的前提下，释放移动电话数据最有效的隐私保护技术是什么？

主要发现

• D4D-Senegal挑战项目发布了三个数据集：1,666个基站的每小时站点间流量数据，约30万名用户在25个两周期内的精细化移动轨迹，以及约15万名用户在区级的年度粗粒度移动数据。
• 通过Voronoi单元随机化实现的空间扰动成功模糊了真实基站位置，降低了重新识别风险，同时未损害数据实用性。
• 对分箱后的行为指标应用3-匿名化，有效缓解了联系人熵和活跃度指标中异常值带来的重新识别风险。
• 这些数据集支持每位用户计算14项行为指标，包括活跃天数、通话时长均值和联系人熵，为行为研究提供了支持。
• 通过专用的Sparkboard协作平台，该挑战促进了国际合作，将研究人员与塞内加尔本地机构连接起来，实现情境感知分析。
• 数据发布遵循严格的隐私保护流程，包括用户筛选、时间与空间聚合以及匿名化处理，为发展研究中的伦理数据共享设立了新基准。