[논문 리뷰] Big Data for Social Sciences: Measuring patterns of human behavior through large-scale mobile phone data

Pål Sundsøy|arXiv (Cornell University)|2017. 02. 27.

Human Mobility and Location-Based Analysis참고 문헌 5인용 수 5

한 줄 요약

이 학위논문은 익명화된 대규모 모바일 휴대폰 데이터가 개발도상국에서 빈곤과 문맹률과 같은 사회경제 지표를 정확하게 예측하고 재해 대응을 향상시키기 위해 인구 이동을 추적함으로써 인간 행동 패턴을 측정하는 데 어떻게 활용될 수 있는지 보여준다. 또한 사회망 패턴과 기계학습을 활용해 마케팅 채택률을 13배 향상시킨다.

ABSTRACT

Through seven publications this dissertation shows how anonymized mobile phone data can contribute to the social good and provide insights into human behaviour on a large scale. The size of the datasets analysed ranges from 500 million to 300 billion phone records, covering millions of people. The key contributions are two-fold: 1. Big Data for Social Good: Through prediction algorithms the results show how mobile phone data can be useful to predict important socio-economic indicators, such as income, illiteracy and poverty in developing countries. Such knowledge can be used to identify where vulnerable groups in society are, reduce economic shocks and is a critical component for monitoring poverty rates over time. Further, the dissertation demonstrates how mobile phone data can be used to better understand human behaviour during large shocks in society, exemplified by an analysis of data from the terror attack in Norway and a natural disaster on the south-coast in Bangladesh. This work leads to an increased understanding of how information spreads, and how millions of people move around. The intention is to identify displaced people faster, cheaper and more accurately than existing survey-based methods. 2. Big Data for efficient marketing: Finally, the dissertation offers an insight into how anonymised mobile phone data can be used to map out large social networks, covering millions of people, to understand how products spread inside these networks. Results show that by including social patterns and machine learning techniques in a large-scale marketing experiment in Asia, the adoption rate is increased by 13 times compared to the approach used by experienced marketers. A data-driven and scientific approach to marketing, through more tailored campaigns, contributes to less irrelevant offers for the customers, and better cost efficiency for the companies.

연구 동기 및 목표

• 개발도상국에서의 사회경제 모니터링을 향상시키기 위해 대규모 모바일 휴대폰 데이터가 어떻게 활용될 수 있는지 탐색하기.
• 테러나 자연재해와 같은 사회적 충격 상황에서 인간 이동 패턴을 실시간으로 추적할 수 있는 모바일 휴대폰 데이터의 잠재력을 평가하기.
• 대규모 마케팅 캠페인을 위한 사회망 지도를 구성하는 데 모바일 휴대폰 데이터의 효과성을 평가하기.
• 데이터 기반 접근 방식을 활용해 전통적 설문 조사 방법에 대한 의존도를 줄이기 위해 취약한 인구 집단을 식별하기.
• 기계학습과 익명화된 모바일 데이터를 통합함으로써 사회적 복지 및 상업적 응용 분야에서 과학적이고 경제적인 이점을 입증하기.

제안 방법

• 수백만 명의 사용자를 대상으로 5억 건에서 3000억 건에 이르는 익명화된 휴대폰 통화 기록 분석.
• 통화 세부 기록(CDR)과 소득, 문맹률과 같은 사회경제 지표 간의 상관관계를 분석하기 위해 예측 알고리즘 적용.
• 2011년 노르웨이 테러 공격과 2010년 방글라데시 태풍 당시의 인구 이동을 모델링하기 위해 CDR에서 유도된 이동 패턴 활용.
• 통화 패턴에서 유도된 사회망 구조를 식별하고 제품 확산 동역학을 유추하기 위해 기계학습 기법 활용.
• 사회망 기반 타겟팅과 전통적 방법을 대비로 아시아에서 대규모 마케팅 실험 설계 및 실행.
• 기존 설문 조사 방법과 실제 캠페인 결과와의 비교를 통해 결과 검증.

실험 결과

연구 질문

• RQ1 익명화된 모바일 휴대폰 데이터는 빈곤과 문맹률과 같은 국가 수준의 사회경제 지표를 높은 정확도로 예측할 수 있는가?
• RQ2 테러나 자연재해와 같은 대규모 사회적 충격 상황에서 모바일 휴대폰 데이터는 인구 이동을 얼마나 정확하게 추적할 수 있는가?
• RQ3 모바일 휴대폰 데이터에서 유도된 사회망 구조는 대규모 마케팅 캠페인의 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 데이터 기반, 기계학습 강화 마케팅 접근 방식은 기존 방법에 비해 채택률 측면에서 어떻게 비교되는가?
• RQ5 전통적 설문 조사 기반 모니터링에 비해 모바일 휴대폰 데이터는 취약한 인구 집단을 식별하는 데 소요되는 비용과 시간을 줄일 수 있는가?

주요 결과

• 모바일 휴대폰 데이터를 통해 개발도상국에서 소득, 문맹률, 빈곤 수준과 같은 핵심 사회경제 지표를 정확하게 예측할 수 있었다.
• 2011년 노르웨이 테러 공격과 2010년 방글라데시 태풍 기간 동안의 인구 이동은 기존 설문 조사보다 더 높은 시간적·공간적 해상도로 추적되었다.
• 이 연구는 모바일 휴대폰 데이터가 기존 설문 조사 방법보다 더 빠르고 저렴하며 정확도가 높은 방식으로 이재민 인구를 식별할 수 있음을 입증했다.
• 아시아에서 실시한 대규모 마케팅 실험에서 사회망 패턴과 기계학습을 통합한 결과, 표준 마케팅 접근 방식 대비 제품 채택률이 13배 향상되었다.
• 데이터 기반 마케팅 전략은 불필요한 제안을 줄이고 기업의 맞춤형 캠페인 제공을 가능하게 하여 비용 효율성을 향상시켰다.
• 익명화된 모바일 휴대폰 데이터는 재해 대응에서부터 상업적 응용까지 다양한 맥락에서 대규모 인간 행동을 모델링하는 데 효과적임을 입증했다.