[论文解读] Big Data for Social Sciences: Measuring patterns of human behavior through large-scale mobile phone data

Pål Sundsøy|arXiv (Cornell University)|Feb 27, 2017

Human Mobility and Location-Based Analysis参考文献 5被引用 5

一句话总结

本论文展示了如何利用匿名化的大规模手机数据来衡量人类行为模式，从而在发展中国家准确预测贫困和文盲等社会经济指标，并通过追踪人口流动来提升灾难应对能力。此外，通过利用社交网络模式和机器学习，该研究还实现了营销采纳率13倍的提升。

ABSTRACT

Through seven publications this dissertation shows how anonymized mobile phone data can contribute to the social good and provide insights into human behaviour on a large scale. The size of the datasets analysed ranges from 500 million to 300 billion phone records, covering millions of people. The key contributions are two-fold: 1. Big Data for Social Good: Through prediction algorithms the results show how mobile phone data can be useful to predict important socio-economic indicators, such as income, illiteracy and poverty in developing countries. Such knowledge can be used to identify where vulnerable groups in society are, reduce economic shocks and is a critical component for monitoring poverty rates over time. Further, the dissertation demonstrates how mobile phone data can be used to better understand human behaviour during large shocks in society, exemplified by an analysis of data from the terror attack in Norway and a natural disaster on the south-coast in Bangladesh. This work leads to an increased understanding of how information spreads, and how millions of people move around. The intention is to identify displaced people faster, cheaper and more accurately than existing survey-based methods. 2. Big Data for efficient marketing: Finally, the dissertation offers an insight into how anonymised mobile phone data can be used to map out large social networks, covering millions of people, to understand how products spread inside these networks. Results show that by including social patterns and machine learning techniques in a large-scale marketing experiment in Asia, the adoption rate is increased by 13 times compared to the approach used by experienced marketers. A data-driven and scientific approach to marketing, through more tailored campaigns, contributes to less irrelevant offers for the customers, and better cost efficiency for the companies.

研究动机与目标

• 探索大规模手机数据如何改善发展中国家的社会经济监测。
• 评估手机数据在恐怖袭击或自然灾害等社会冲击期间实时追踪人类流动性的潜力。
• 评估手机数据在大规模营销活动中映射社交网络结构的有效性。
• 通过数据驱动方法减少对传统调查方法在识别脆弱人群方面的依赖。
• 展示将机器学习与匿名手机数据结合在社会公益和商业应用中所带来的科学与经济效益。

提出的方法

• 分析涵盖数百万用户、记录数量从5亿到300亿条不等的匿名手机通话记录。
• 应用预测算法，将通话详单记录（CDRs）与收入、文盲率等社会经济指标相关联。
• 利用CDRs中的流动模式，对危机期间的人口迁移进行建模，包括2011年挪威恐怖袭击和2010年孟加拉国气旋事件。
• 采用机器学习技术，从通话模式中识别社交网络结构，并推断产品扩散动态。
• 在亚洲开展大规模营销实验，采用基于社交网络的定位方法与传统方法进行对比。
• 通过与传统调查方法及真实世界活动结果的对比，验证研究结果。

实验结果

研究问题

• RQ1 匿名化手机数据能否以高精度预测国家层面的社会经济指标，如贫困和文盲？
• RQ2 手机数据在大规模社会动荡（如恐怖袭击或自然灾害）期间，能否准确追踪人口流动？
• RQ3 从手机数据中推断出的社交网络结构，在多大程度上能提升大规模营销活动的效率？
• RQ4 与传统方法相比，基于数据驱动和机器学习增强的营销方法在采纳率方面表现如何？
• RQ5 与传统基于调查的监测方式相比，手机数据能否降低识别脆弱人群的成本和时间？

主要发现

• 手机数据能够准确预测发展中国家的关键社会经济指标，如收入、文盲率和贫困水平。
• 与传统调查相比，手机数据在2011年挪威恐怖袭击和2010年孟加拉国气旋事件中实现了更高时间与空间分辨率的人口迁移追踪。
• 本研究证明，相比传统调查方法，手机数据能更快、更便宜、更准确地识别出流离失所的人口。
• 在亚洲开展的大规模营销实验表明，结合社交网络模式与机器学习，使产品采纳率相比标准营销方法提高了13倍。
• 数据驱动的营销策略减少了不相关推广，通过实现更精准的活动投放，提升了企业的成本效率。
• 匿名化手机数据在不同场景下（从危机应对到商业应用）均被证明能有效建模大规模人类行为。