[论文解读] Data for Development: the D4D Challenge on Mobile Phone Data

Vincent D. Blondel, Markus Esch+7 more|arXiv (Cornell University)|Sep 29, 2012

ICT in Developing Communities参考文献 3被引用 158

一句话总结

本文介绍了Orange D4D挑战赛，这是一个来自科特迪瓦（2011年12月至2012年4月）500万名用户的匿名移动电话通话详单记录（CDRs）数据集，支持对人类移动性、社交网络及社会经济发展进行研究。该数据集包含每小时基站间通信流量、个体在基站和次省级区域级别的轨迹数据，以及以个体为中心的通信子图，为研究集体行为并支持低收入环境下的发展举措，提供了一项罕见的大规模、隐私保护型资源。

ABSTRACT

The Orange "Data for Development" (D4D) challenge is an open data challenge on anonymous call patterns of Orange's mobile phone users in Ivory Coast. The goal of the challenge is to help address society development questions in novel ways by contributing to the socio-economic development and well-being of the Ivory Coast population. Participants to the challenge are given access to four mobile phone datasets and the purpose of this paper is to describe the four datasets. The website http://www.d4d.orange.com contains more information about the participation rules. The datasets are based on anonymized Call Detail Records (CDR) of phone calls and SMS exchanges between five million of Orange's customers in Ivory Coast between December 1, 2011 and April 28, 2012. The datasets are: (a) antenna-to-antenna traffic on an hourly basis, (b) individual trajectories for 50,000 customers for two week time windows with antenna location information, (3) individual trajectories for 500,000 customers over the entire observation period with sub-prefecture location information, and (4) a sample of communication graphs for 5,000 customers

研究动机与目标

• 通过使用来自低收入国家的真实移动电话数据，支持大规模人类行为与社会经济发展研究。
• 通过发布经过匿名化、隐私保护的数据，解决科学界在移动电话数据集获取方面的‘数字鸿沟’问题，以促进公共研究。
• 通过与非洲研究人员合作并提供国家统计机构未记录的行为数据，支持科特迪瓦的发展。
• 为研究移动模式、通信网络和城市动态，提供全面且多分辨率的数据集。
• 通过公开发布一项独特且大规模的移动电话数据集，推动开放科学和以数据为驱动的发展。

提出的方法

• 该数据集源自科特迪瓦500万名Orange移动用户在5个月期间（2011年12月至2012年4月）的匿名通话详单记录（CDRs）。
• 发布四个独立的数据集：(1) 每小时基站间通信流量，(2) 5万名用户的基站级别个体轨迹，(3) 50万名用户的次省级区域级别长期轨迹，以及(4) 5,000名用户的以个体为中心的通信子图。
• 通过将基站位置映射到次省级行政区域，降低长期轨迹数据的空间分辨率，并提供地理中心坐标。
• 通过识别5,000名随机选取用户（即中心个体）的一阶和二阶邻居，构建通信子图，排除公共电话使用模式。
• 所有用户标识符均经过匿名化处理，并在每个以个体为中心的图中重新分配，以保护隐私并防止子图间关联。
• 数据通过D4D挑战赛网站发布，并包含用于数据库集成的DDL模式。

实验结果

研究问题

• RQ1 如何利用大规模移动电话CDRs在发展中国家背景下建立并理解人类移动性模式？
• RQ2 在低收入环境中，匿名化移动电话数据在多大程度上能揭示社会经济发展动态并为公共政策提供依据？
• RQ3 在科特迪瓦的城市和农村地区，移动电话使用如何促成通信网络和社会连通性模式的形成？
• RQ4 在隐私为关键关切的前提下，使用移动电话数据进行发展研究存在哪些局限性和伦理考量？
• RQ5 开放数据举措如D4D挑战赛如何弥合发展中国家研究人员在获取大数据方面的差距？

主要发现

• 该数据集包含科特迪瓦500万名匿名移动用户，提供了五个月期间通信和移动性模式的全面视图。
• 每小时基站间通信流量数据集捕捉了500多个基站的24小时移动电话使用模式。
• 5万名用户的轨迹数据以基站级别记录，包含时间戳和地理坐标，支持精细化的移动性分析。
• 50万名用户的长期轨迹数据被映射到次省级区域，并提供地理中心坐标，支持大规模空间分析。
• 通信子图数据集包含5,000个以个体为中心的网络及其二阶邻居，记录了为期两周的互动模式。
• 数据在严格匿名化和隐私保护措施下发布，包括按每个个体图重新识别用户，并排除公共电话用户。