[논문 리뷰] Poverty Mapping Using Convolutional Neural Networks Trained on High and Medium Resolution Satellite Images, With an Application in Mexico

Boris Babenko, Jonathan Hersh외 3명|arXiv (Cornell University)|2017. 11. 16.

Impact of Light on Environment and Health참고 문헌 3인용 수 48

한 줄 요약

이 논문은 멕시코의 시정 단위에서 빈곤 수준을 추정하기 위해 고해상도 및 중간 해상도 위성 영상에서 컨볼루션 신경망(CNN)을 훈련시키는 방법을 제안한다. Planet 위성 영상에서 유도된 토지 이용 분류와 함께 CNN 예측을 융합함으로써, 검증 샘플의 10%에서 빈곤 변동의 최대 57%를 설명할 수 있었으며, 이는 심층 학습을 활용한 위성 데이터 기반 끝에서 끝까지의 빈곤 지ap 맵핑의 가능성을 입증한다.

ABSTRACT

Mapping the spatial distribution of poverty in developing countries remains an important and costly challenge. These "poverty maps" are key inputs for poverty targeting, public goods provision, political accountability, and impact evaluation, that are all the more important given the geographic dispersion of the remaining bottom billion severely poor individuals. In this paper we train Convolutional Neural Networks (CNNs) to estimate poverty directly from high and medium resolution satellite images. We use both Planet and Digital Globe imagery with spatial resolutions of 3-5 sq. m. and 50 sq. cm. respectively, covering all 2 million sq. km. of Mexico. Benchmark poverty estimates come from the 2014 MCS-ENIGH combined with the 2015 Intercensus and are used to estimate poverty rates for 2,456 Mexican municipalities. CNNs are trained using the 896 municipalities in the 2014 MCS-ENIGH. We experiment with several architectures (GoogleNet, VGG) and use GoogleNet as a final architecture where weights are fine-tuned from ImageNet. We find that 1) the best models, which incorporate satellite-estimated land use as a predictor, explain approximately 57% of the variation in poverty in a validation sample of 10 percent of MCS-ENIGH municipalities; 2) Across all MCS-ENIGH municipalities explanatory power reduces to 44% in a CNN prediction and landcover model; 3) Predicted poverty from the CNN predictions alone explains 47% of the variation in poverty in the validation sample, and 37% over all MCS-ENIGH municipalities; 4) In urban areas we see slight improvements from using Digital Globe versus Planet imagery, which explain 61% and 54% of poverty variation respectively. We conclude that CNNs can be trained end-to-end on satellite imagery to estimate poverty, although there is much work to be done to understand how the training process influences out of sample validation.

연구 동기 및 목표

• 위성 영상과 심층 학습을 활용하여 고해상도 빈곤 지도를 생성하는 가용성 있고 비용 효율적인 방법을 개발한다.
• 컨볼루션 신경망이 외부 사회경제 지표에 의존하지 않고도 위성 영상에서 직접 빈곤을 추정할 수 있는지 평가한다.
• 다양한 위성 데이터 소스—Planet(3–5m 해상도)와 Digital Globe(50cm 해상도)—가 빈곤 예측에 미치는 영향을 비교한다.
• 위성 영상에서 유도된 토지 이용 분류를 빈곤 예측 모델의 추가 특성으로 통합했을 때의 영향을 평가한다.
• 학습한 시정 단위 외부, 특히 MCS-ENIGH 영역 외부에서 모델의 일반화 성능을 조사한다.

제안 방법

• 멕시코 전역의 200만 km²에서 고해상도(3–5m) Planet 및 중간 해상도(50cm) Digital Globe 위성 영상으로 심층 컨볼루션 신경망(CNN)을 훈련시켰다.
• 도메인 차이로 인한 영향을 줄이기 위해 near-infrared 밴드를 제외하고, GoogleNet 아키텍처에 사전 훈련된 ImageNet 가중치를 미세 조정하는 전이 학습 방식을 사용했다.
• 모델 성능 향상을 위해 Planet 영상에서 유도된 토지 이용 분류를 보조 입력으로 통합했다.
• 2014년 MCS-ENIGH 조사의 896개 시정 단위에서 모델을 훈련하고, 10%의 보류 샘플에서 검증하였으며, 전체 2,456개 시정 단위에서의 평가를 수행했다.
• 2015년 인터센서스 및 MCS-ENIGH 조사 데이터에서 유도된 기준 빈곤율과 예측 빈곤율 간의 R²를 사용하여 모델 성능을 평가했다.
• 다양한 아키텍처(GoogleNet 및 VGG 변종)와 데이터 모odal리티(RGB만, near-infrared 포함 및 제외)를 비교하여 내부 개발 세트 성능 기반으로 최고 성능을 보인 구성으로 선택했다.

실험 결과

연구 질문

• RQ1 위성 영상에서 훈련된 엔드 투 엔드 컨볼루션 신경망이 멕시코의 시정 단위에서 빈곤 수준을 정확하게 예측할 수 있는가?
• RQ2 위성 영상에서 유도된 토지 이용 분류의 통합이 CNN 기반 빈곤 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 위성 영상의 해상도와 커버리지(예: Planet 대비 Digital Globe)가 빈곤 추정 정확도에 뚜렷한 영향을 미치는가?
• RQ4 왜 학습 세트 외부의 시정 단위(비-MCS-ENIGH 지역)에 적용했을 때 모델 성능이 크게 떨어지는가?
• RQ5 CNN 모델이 도시와 농촌 지역 간에 얼마나 잘 일반화되는가? 그리고 이 두 환경에서의 성능은 어떻게 다를까?

주요 결과

• Planet 영상에서 유도된 토지 이용 분류와 CNN 예측을 융합한 최고 성능 모델은 MCS-ENIGH 시정 단위의 10% 검증 샘플에서 빈곤율 변동의 57%를 설명했다.
• 모든 2,456개 MCS-ENIGH 시정 단위에서 평가했을 때, 모델의 설명력은 44%로 떨어졌으며, 이는 일반화 성능에 상당한 하락이 있음을 시사한다.
• CNN 예측만으로도 10% 검증 샘플에서 빈곤 변동의 47%를 설명했고, 전체 MCS-ENIGH 시정 단위에서는 37%를 설명했다.
• 도시 지역에서는 Digital Globe 영상이 Planet 영상보다 높은 성능(R² = 0.61)을 보였고, 이는 고해상도 영상이 도시 빈곤 추정에 유리함을 시사한다.
• 비-MCS-ENIGH 시정 단위에서는 성능이 상당히 낮아져 전체적으로 R² 값이 0.28로 떨어졌으며, 이는 샘플 외 일반화 성능이 열악함을 나타낸다.
• 훈련 과정에서 near-infrared 밴드를 포함시켜도 성능 향상이 없었고, 도메인 차이로 인해 ImageNet의 RGB 전용 분포와의 불일치로 인해 제외되었다.