[論文レビュー] Program Targeting with Machine Learning and Mobile Phone Data: Evidence from an Anti-Poverty Intervention in Afghanistan

Emily Aiken, Guadalupe Bedoya+2 more|arXiv (Cornell University)|Jun 22, 2022

Poverty, Education, and Child Welfare被引用数 5

ひとこと要約

本研究では、アフガニスタンにおける反貧困プログラムの標的指定を改善するために、モバイル電話の通話記録（CDRs）を用いた機械学習モデルの評価を行った。CDRsに基づくモデルは、伝統的な調査に基づく貧困測定法と同等の精度を示し、CDRsと調査データを組み合わせることで標的指定の正確性がさらに向上することが判明した。これは、脆弱な状況下でも低コストな代替手法を提供する。

ABSTRACT

Can mobile phone data improve program targeting? By combining rich survey data from a "big push" anti-poverty program in Afghanistan with detailed mobile phone logs from program beneficiaries, we study the extent to which machine learning methods can accurately differentiate ultra-poor households eligible for program benefits from ineligible households. We show that machine learning methods leveraging mobile phone data can identify ultra-poor households nearly as accurately as survey-based measures of consumption and wealth; and that combining survey-based measures with mobile phone data produces classifications more accurate than those based on a single data source.

研究の動機と目的

• モバイル電話データを機械学習で処理することで、反貧困プログラムの標的指定精度が向上するかどうかを評価すること。
• CDRsに基づく機械学習モデルの性能を、従来の調査に基づく貧困測定法（消費および資産指数）と比較すること。
• 非所有世帯を標的指定モデルに含めた場合の影響を評価すること。
• CDRsに基づく標的指定と、CBT や PMT といった従来の方法との間での費用削減を推定すること。
• CDRsデータと調査データを組み合わせることで、標的指定のパフォーマンスが向上するかどうかを検討すること。

提案手法

• 本研究では、ターゲティング・ザ・アンダープルーフ（TUP）プログラムの世帯調査データと、アフガニスタンの大手モバイル事業者から得た通話記録（CDRs）を連結した。
• 線形回帰、LASSO、ランダムフォレスト、勾配ブースティングといった機械学習モデルを用い、通話頻度、通話時間、位置情報、社会的ネットワークパターンなどのCDRs由来の特徴量を用いて、貧困状態、資産指数、コミュニティ・ウェルス・ランクイング（CWR）を予測した。
• 性能評価には10分割交差検証を用い、二値分類（貧困状態）にはAUC、連続的アウトカム（消費、資産指数、CWR）にはR²を用いた。
• 本研究では、コミュニティ・ウェルス・ランクイングとフォローアップ調査を組み合わせたハイブリッドベンチマークとモデルの精度を比較した。
• 費用分析では、文献からのデータを用いて、各標的指定手法の世帯1人あたりの変動費用を推定した。
• モデル評価は、CDRsと調査データの両方を持つ535世帯のマッチドサンプルを対象とした。

実験結果

リサーチクエスチョン

• RQ1 モバイル電話のCDRsを学習データとして用いた機械学習モデルは、アフガニスタンにおける極度に貧困な世帯を正確に特定できるか？
• RQ2 CDRsに基づく標的指定のパフォーマンスは、消費および資産所有に関する従来の調査ベースの測定法と比べてどうか？
• RQ3 非所有世帯を標的指定モデルに含めた場合、CDRsに基づく標的指定モデルの精度にどのような影響を与えるか？
• RQ4 CDRsデータと調査ベースの指標を組み合わせることで、単一のデータソースを用いる場合よりも標的指定の正確性が向上するか？
• RQ5 CBT や PMT といった従来の方法と比較して、CDRsに基づく標的指定による限界的な費用削減はどの程度か？

主な発見

• CDRsに基づく機械学習モデルは、極度に貧困な世帯を特定する際、AUCが約0.80に達し、調査ベースの消費および資産指数測定法とほぼ同等の性能を示した。
• 非所有世帯を極度に貧困と分類した場合、CDRsに基づくモデルは高い精度を維持するが、このような世帯を非該当とみなした場合、性能は著しく低下した。
• CDRsデータと調査ベースの指標（消費および資産指数）を組み合わせることで、単一のデータソースを用いる場合よりも高い標的指定精度が得られた。
• CDRsに基づく方法では、世帯1人あたりの変動標的指定費用が0.00ドルにまで低下したのに対し、CBTでは2.20ドル、PMTでは4.00ドルであったため、顕著な費用削減が見られた。
• モデルで最も優れた性能を示した特徴量には、通話回数、通話時間、連絡先の多様性、および夜間の通話行動のような時間的パターンが含まれた。
• 勾配ブースティングモデルは、二値貧困状態の予測および資産指数やCWRといった連続的アウトカムの予測において、他のアルゴリズムを常に上回った。