[論文レビュー] Household poverty classification in data-scarce environments: a machine learning approach

Varun Kshirsagar, Jerzy Wieczorek+2 more|arXiv (Cornell University)|Nov 18, 2017

Income, Poverty, and Inequality参考文献 5被引用数 29

ひとこと要約

本論文は、データが乏しい国における世帯の貧困分類のため、機械学習を活用したプロキシ手段テスト（PMT）を提案する。交差検証と正則化を用いて、国勢調査から10の予測力の高い質問を選定する。得られた貧困確率インデックス（PPI）スコアカードは、都市部および農村部を含む多様な準国レベルの地域において、貧困世帯と非貧困世帯を高精度に区別するが、現地への展開にかかる計算負荷は最小限に抑えられる。

ABSTRACT

We describe a method to identify poor households in data-scarce countries by leveraging information contained in nationally representative household surveys. It employs standard statistical learning techniques---cross-validation and parameter regularization---which together reduce the extent to which the model is over-fitted to match the idiosyncracies of observed survey data. The automated framework satisfies three important constraints of this development setting: i) The prediction model uses at most ten questions, which limits the costs of data collection; ii) No computation beyond simple arithmetic is needed to calculate the probability that a given household is poor, immediately after data on the ten indicators is collected; and iii) One specification of the model (i.e. one scorecard) is used to predict poverty throughout a country that may be characterized by significant sub-national differences. Using survey data from Zambia, the model's out-of-sample predictions distinguish poor households from non-poor households using information contained in ten questions.

研究の動機と目的

• データが乏しい国における、限られた調査データを用いた、強固でスケーラブルな貧困ターゲティングツールの開発。
• 従来の段階的ロジスティック回帰を改善し、現代の機械学習技術を用いて過学習とモデルの不安定性を低減すること。
• 最終的なモデルが、鉛筆と紙でのスコアリングのみで実用可能な低リソース環境でも展開可能であることを保証すること。
• 準国レベルの地域、都市・農村の違い、消費デシルごとに一貫したパフォーマンスを維持すること。
• 顕著な社会経済的多様性が存在するにもかかわらず、全国に適用可能な単一の統合スコアカードを生成すること。

提案手法

• 本手法は、30～100の調査質問のプールから、交差検証とパrameter正則化を用いて、最も予測力の高い10変数のサブセットを選定する。
• 選択された変数に対して、正則化を施したロジスティック回帰モデルを適合させ、貧困確率を推定する。正則化により過学習が低減される。
• 最終的なモデルは、各応答カテゴリに整数の重みを割り当てた加法的スコアカードに変換され、現場での簡単な算術スコアリングが可能になる。
• 現場のインタビュアーは、各世帯の回答に対する重みを合計し、照会表を用いて予測された貧困確率を決定する。
• モデルは、保持済みデータを用いたアウトオブサンプル予測により検証され、全国および準国レベルの地域、デシル、都市・農村の区分ごとにパフォーマンスが評価される。
• 本手法は、従来のPPIシステムとの後方互換性を保つ。同じ10質問、加法的、照会表形式を維持している。

実験結果

リサーチクエスチョン

• RQ1 現代の機械学習技術は、データが乏しい環境における貧困予測モデルの精度と安定性を向上させることができるか？
• RQ2 10質問の単一で全国的なスコアカードは、多様な準国レベルの地域や生計形態においても高い予測性能を維持できるか？
• RQ3 正則化と交差検証を施したモデルの性能は、従来の段階的ロジスティック回帰と比較して、どのように異なるか？
• RQ4 加法的で相互作用のないモデル構造は、より複雑なモデルと比較して、予測力にどの程度制限を及えるか？
• RQ5 消費デシルや省レベルの経済的差異を考慮しても、貧困世帯と非貧困世帯の分離性能を維持できるか？

主な発見

• 全国的に貧困世帯と非貧困世帯の間で良好な分離が達成されており、貧困世帯の予測貧困確率の75百分位数は約0.4、非貧困世帯の25百分位数は0.75である。
• 予測確率に0.6のしきい値を適用すると、非貧困世帯の75％以上が除外され、貧困世帯の75％以上が含まずに済むため、感度と特異度の両方が高い。
• モデルは10の消費デシルすべてにおいて貧困レベルを的確に区別しており、低いデシルでは高い予測確率、高いデシルでは低い確率が得られている。
• アウトオブサンプル予測では、都市部および農村部の両方で貧困世帯と非貧困世帯の間に一貫した分離が見られ、ルサカおよびサウス地方で最も強い分離が確認された。
• ムチンガ地方ではやや性能が低く、地域差がモデルの正確性に影響しているが、全体としての有効性は依然として高い。
• 加法的モデルの性能は、変数選択なしの完全なロジスティック回帰モデルと非常に近い水準であり、10質問の制約が精度に顕著な損失をもたらさないことが示された。