[논문 리뷰] Household poverty classification in data-scarce environments: a machine learning approach

Varun Kshirsagar, Jerzy Wieczorek외 2명|arXiv (Cornell University)|2017. 11. 18.

Income, Poverty, and Inequality참고 문헌 5인용 수 29

한 줄 요약

이 논문은 자료가 부족한 국가에서 가구 빈곤 분류를 위한 기계학습 강화형 대체 평가 기준(PMT)을 제안하며, 교차검증과 정규화를 통해 국가 조사에서 10개의 예측 질문을 선별한다. 결과적으로 도출된 빈곤 확률 지수(PPI) 스코어카드는 도시 및 농촌 지역을 포함한 다양한 지방 지역에서 빈곤가구와 비빈곤가구를 높은 정확도로 구분하며, 현장 적용에 있어 최소한의 계산 부담을 유발한다.

ABSTRACT

We describe a method to identify poor households in data-scarce countries by leveraging information contained in nationally representative household surveys. It employs standard statistical learning techniques---cross-validation and parameter regularization---which together reduce the extent to which the model is over-fitted to match the idiosyncracies of observed survey data. The automated framework satisfies three important constraints of this development setting: i) The prediction model uses at most ten questions, which limits the costs of data collection; ii) No computation beyond simple arithmetic is needed to calculate the probability that a given household is poor, immediately after data on the ten indicators is collected; and iii) One specification of the model (i.e. one scorecard) is used to predict poverty throughout a country that may be characterized by significant sub-national differences. Using survey data from Zambia, the model's out-of-sample predictions distinguish poor households from non-poor households using information contained in ten questions.

연구 동기 및 목표

• 제한된 설문 데이터를 바탕으로 자료가 부족한 국가에서 신뢰성 있고 확장 가능한 빈곤 타겟팅 도구를 개발하기 위해.
• 기존 단계적 로지스틱 회귀 모델을 개선하기 위해 현대적인 기계학습 기법을 통해 과적합과 모델 불안정성을 줄이기 위해.
• 최종 모델이 펜슬과 종이로만 점수를 매길 수 있도록, 자원이 제한된 환경에서도 현장 적용이 가능하도록 보장하기 위해.
• 지방 지역, 도시 농촌 간 격리, 소비 10분위 간 일관된 성능을 유지하기 위해.
• 매우 높은 사회경제적 이질성이 존재하는 국가 전역에 적용 가능한 단일 통합 스코어카드를 생산하기 위해.

제안 방법

• 이 방법은 교차검증과 파rameter 정규화를 사용하여 30~100개의 설문 질문에서 더 예측력이 높은 10개 변수의 조합을 선별한다.
• 선택된 변수에 대해 정규화된 로지스틱 회귀 모델을 적합시켜 빈곤 확률을 추정하며, 정규화로 과적합을 감소시킨다.
• 최종 모델은 각 응답 범주에 정수 가중치를 할당한 덧셈 스코어카드 형태로 변환되어 현장에서 단순 산술 계산이 가능하도록 한다.
• 현장 인터뷰어는 각 가구의 응답에 해당하는 가중치를 합산하고, 조회표를 사용해 예측된 빈곤 확률을 결정한다.
• 모델은 보류된 데이터에서의 외부 예측을 통해 검증되며, 전국 및 지방 지역, 10분위, 도시 농촌 분리 기준에서 성능을 평가한다.
• 기존 PPI 시스템과의 후행 호환성을 유지하기 위해, 이전 버전에서 사용된 동일한 10문항, 덧셈형, 조회표 형식을 그대로 유지한다.

실험 결과

연구 질문

• RQ1 현대 기계학습 기법은 자료가 부족한 환경에서 빈곤 예측 모델의 정확도와 안정성을 향상시킬 수 있는가?
• RQ2 10개 질문의 단일 전국 스코어카드는 다양한 지방 지역과 생계 유형 간에 높은 예측 성능를 유지하는가?
• RQ3 정규화 및 교차검증된 모델의 성능은 기존 단계적 로지스틱 회귀 모델보다 어떻게 다를까?
• RQ4 모델의 덧셈형, 상호작용이 없는 구조는 더 복잡한 모델 대비 예측 능력을 얼마나 제한하는가?
• RQ5 소비 10분위 및 성별 수준의 경제적 차이가 있는 성별 간 빈곤가구와 비빈곤가구 간의 분리 능력이 유지되는가?

주요 결과

• 전국적으로 빈곤가구와 비빈곤가구 간 강력한 분리가 이루어지며, 빈곤가구의 예측 빈곤 확률 75분위수는 약 0.4이고, 비빈곤가구의 25분위수는 0.75이다.
• 예측 확률 기준 0.6의 임계값은 비빈곤가구의 75% 이상을 배제하면서도 빈곤가구의 75% 이상을 포함하여 높은 민감도와 특이도를 보인다.
• 10개의 소비 10분위 전역에서 빈곤 수준을 성공적으로 구분하며, 낮은 10분위에서 높은 예측 확률, 높은 10분위에서 낮은 예측 확률을 보인다.
• 외부 예측 결과는 도시 및 농촌 지역 모두에서 빈곤가구와 비빈곤가구 간 일관된 분리를 보이며, 루사카와 남부 주에서 가장 강한 분리를 보였다.
• 무칭가 주에서는 성능이 약간 낮아 지역 간 정확도의 변동성이 있음을 시사하지만, 전반적으로는 효과적이다.
• 덧셈형 모델의 성능은 변수 선택 없이 전체 로지스틱 회귀 모델과 매우 유사하여, 10문항 제약 조건이 정확도에 상당한 영향을 주지 않는다는 것을 시사한다.