[论文解读] Household poverty classification in data-scarce environments: a machine learning approach

Varun Kshirsagar, Jerzy Wieczorek+2 more|arXiv (Cornell University)|Nov 18, 2017

Income, Poverty, and Inequality参考文献 5被引用 29

一句话总结

本文提出了一种基于机器学习增强的代理衡量方法（PMT），用于在数据匮乏国家进行家庭贫困分类，通过交叉验证和正则化从全国调查中筛选出十个具有预测力的问题。由此产生的贫困概率指数（PPI）评分卡在区分不同次国家级区域（包括城市和农村地区）的贫困人口与非贫困人口方面表现出高样本外准确性，且在实地部署时计算负担极小。

ABSTRACT

We describe a method to identify poor households in data-scarce countries by leveraging information contained in nationally representative household surveys. It employs standard statistical learning techniques---cross-validation and parameter regularization---which together reduce the extent to which the model is over-fitted to match the idiosyncracies of observed survey data. The automated framework satisfies three important constraints of this development setting: i) The prediction model uses at most ten questions, which limits the costs of data collection; ii) No computation beyond simple arithmetic is needed to calculate the probability that a given household is poor, immediately after data on the ten indicators is collected; and iii) One specification of the model (i.e. one scorecard) is used to predict poverty throughout a country that may be characterized by significant sub-national differences. Using survey data from Zambia, the model's out-of-sample predictions distinguish poor households from non-poor households using information contained in ten questions.

研究动机与目标

• 开发一种稳健、可扩展的贫困瞄准工具，适用于数据匮乏国家，仅使用有限的调查数据。
• 通过现代机器学习技术减少过拟合和模型不稳定性，改进传统逐步逻辑回归方法。
• 确保最终模型在仅使用铅笔和纸张打分的情况下，仍可在低资源环境中部署。
• 在次国家级区域、城乡差异以及消费分位数之间保持一致的性能表现。
• 在存在显著社会经济异质性的情况下，生成一个适用于全国范围的统一评分卡。

提出的方法

• 该方法使用交叉验证和参数正则化，从30至100个调查问题的更大集合中筛选出最具预测力的十个变量子集。
• 对选定变量拟合惩罚逻辑回归模型以估计贫困概率，正则化技术可减少过拟合。
• 将最终模型转换为带有整数权重的加法评分卡，每个响应类别的权重均被分配，从而实现在实地通过简单算术运算进行打分。
• 实地访谈员将每个家庭各问题的回答对应的权重相加，并通过查表法确定预测的贫困概率。
• 通过在保留数据上的样本外预测对模型进行验证，性能在全国范围及次国家级区域、分位数和城乡划分中进行评估。
• 该方法通过保持与既有PPI系统相同的10个问题、加法结构和查表格式，保留了向后兼容性。

实验结果

研究问题

• RQ1 现代机器学习技术能否在数据匮乏环境中提升贫困预测模型的准确性和稳定性？
• RQ2 一个包含十个问题的全国统一评分卡是否能在多样化次国家级区域和生计类型中保持高预测性能？
• RQ3 经过正则化和交叉验证的模型在贫困分类中的表现，与传统逐步逻辑回归相比如何？
• RQ4 与更复杂的模型相比，该模型采用的加法、无交互作用结构在多大程度上限制了其预测能力？
• RQ5 该模型是否能在消费分位数和省级经济差异之间保持对贫困人口与非贫困人口的高区分度？

主要发现

• 在全国范围内，模型对贫困人口与非贫困人口实现了良好的分离，贫困人口预测贫困概率的第75百分位数约为0.4，非贫困人口的第25百分位数为0.75。
• 将预测概率的阈值设为0.6时，可排除超过75%的非贫困人口，同时包含超过75%的贫困人口，表明具有高敏感性和特异性。
• 模型在全部十个消费分位数中均能有效区分贫困水平，低分位数的预测概率较高，高分位数的预测概率较低。
• 样本外预测显示，在城市和农村地区均实现了贫困人口与非贫困人口的良好分离，其中卢萨卡和南方省的分离效果最强。
• 在穆奇尼亚省性能略有下降，表明模型准确度存在区域差异，但整体仍具有效性。
• 加法模型的性能与无变量选择的完整逻辑回归模型非常接近，表明10个问题的限制并未显著损害准确性。