[논문 리뷰] Program Targeting with Machine Learning and Mobile Phone Data: Evidence from an Anti-Poverty Intervention in Afghanistan

Emily Aiken, Guadalupe Bedoya외 2명|arXiv (Cornell University)|2022. 06. 22.

Poverty, Education, and Child Welfare인용 수 5

한 줄 요약

이 연구는 아프가니스탄의 빈곤 타깃팅 프로그램을 향상시키기 위해 모바일 폰 통화 기록 기록(CDR)을 활용한 기계학습 모델을 평가한다. CDR 기반 모델이 전통적인 설문 조사 기반 빈곤 측정 방식과 유사한 정확도를 보이며, CDR와 설문 데이터를 융합하면 타깃팅 정밀도가 더욱 향상됨을 발견했다. 이는 취약한 환경에서 저비용 대안을 제공한다.

ABSTRACT

Can mobile phone data improve program targeting? By combining rich survey data from a "big push" anti-poverty program in Afghanistan with detailed mobile phone logs from program beneficiaries, we study the extent to which machine learning methods can accurately differentiate ultra-poor households eligible for program benefits from ineligible households. We show that machine learning methods leveraging mobile phone data can identify ultra-poor households nearly as accurately as survey-based measures of consumption and wealth; and that combining survey-based measures with mobile phone data produces classifications more accurate than those based on a single data source.

연구 동기 및 목표

• 모바일 폰 데이터를 기계학습으로 처리하여 빈곤 타깃팅 정확도를 향상시킬 수 있는지 평가하는 것.
• CDR 기반 기계학습 모델의 성능을 전통적인 설문 조사 기반 빈곤 측정 방식(소비 및 자산 지수)과 비교하는 것.
• 비폰 소유 가구를 타깃팅 모델에 포함했을 때의 영향을 평가하는 것.
• CDR 기반 타깃팅의 변동 비용을 기존 방법(예: CBT 및 PMT)과 비교하여 절감 효과를 추정하는 것.
• CDR 데이터를 설문 조사 데이터와 융합했을 때 타깃팅 성능 향상 여부를 분석하는 것.

제안 방법

• 연구는 타겟팅 업타이어 포어(TUP) 프로그램의 가구 설문 조사 데이터와 연결된 아프가니스탄 주요 모바일 통신사의 통화 기록 기록(CDR)을 사용한다.
• 선형 회귀, 라소, 랜덤 포레스트, 기울기 부스팅 등의 기계학습 모델을 활용하여 CDR에서 유도된 특징(통화 빈도, 지속 시간, 위치, 사회적 네트워크 패턴 등)을 기반으로 빈곤 상태, 자산 지수, 공동체 재산 순위(CWR)를 예측한다.
• 성능 평가는 10겹 교차검증을 통해 수행되며, 이진 분류(빈곤 상태)의 경우 AUC, 연속형 결과(소비, 자산 지수, CWR)의 경우 R²를 사용한다.
• 연구는 공동체 재산 순위와 후속 설문 조사 결과를 기반으로 한 하이브리드 기준과 모델 정확도를 비교한다.
• 비용 분석은 문헌 자료를 활용하여 각 타깃팅 방법의 가구당 평균 비용을 추정한다.
• 모델은 CDR와 설문 조사 데이터를 모두 보유한 535개 가구의 일치 샘플을 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 모바일 폰 CDR를 기반으로 훈련시켜 아프가니스탄의 초빈곤 가정을 정확히 식별할 수 있는가?
• RQ2 CDR 기반 타깃팅의 성능은 소비 및 자산 소유 측정 방식과 비교해 어떻게 되는가?
• RQ3 비폰 소유 가정을 포함했을 때 CDR 기반 타깃팅 모델의 정확도에 어떤 영향을 미치는가?
• RQ4 CDR 데이터를 설문 조사 기반 지표와 융합하면 단일 데이터 소스를 사용하는 것보다 타깃팅 정확도가 향상되는가?
• RQ5 기존 방법(예: CBT 및 PMT)과 비교해 CDR 기반 타깃팅의 여타 비용 절감 효과는 무엇인가?

주요 결과

• CDR 기반 기계학습 모델은 초빈곤 가정을 식별하는 데 약 0.80의 AUC를 기록하며, 설문 조사 기반 소비 및 자산 지수 측정 방식과 거의 유사한 성능을 보였다.
• 비폰 소유 가정을 초빈곤으로 분류한 경우 CDR 기반 모델은 높은 정확도를 유지하지만, 이러한 가정을 자격 없음으로 간주할 경우 성능이 크게 떨어진다.
• CDR 데이터와 설문 조사 기반 지표(소비 및 자산 지수)를 융합하면 단일 데이터 소스를 사용하는 것보다 더 높은 타깃팅 정확도를 달성한다.
• CDR 기반 방법은 가구당 스크리닝 비용을 CBT의 $2.20 및 PMT의 $4.00 대비 $0.00으로 낮춰 상당한 비용 절감 효과를 보였다.
• 모델의 최고 성능 특징로는 통화 빈도, 통화 지속 시간, 연락처 다양성, 야간 통화 행동과 같은 시간 패턴이 포함된다.
• 기울기 부스팅 모델은 빈곤 상태 이진 분류 및 자산 지수, CWR와 같은 연속형 결과 예측에서 다른 알고리즘보다 일관되게 뛰어난 성능을 보였다.