[论文解读] Efficient Poverty Mapping using Deep Reinforcement Learning

Kumar Ayush, Burak Uzkent+4 more|arXiv (Cornell University)|Jun 7, 2020

Video Surveillance and Tracking Methods参考文献 32被引用 12

一句话总结

本文提出了一种深度强化学习框架，利用免费的低分辨率卫星图像智能选择高分辨率图像瓦片用于贫困制图，将高成本高分辨率图像的使用量减少80%，同时保持或提升预测准确性。该方法基于策略驱动的决策动态采样高分辨率数据，显著降低费用，且不损害模型的可解释性或性能。

ABSTRACT

The combination of high-resolution satellite imagery and machine learning have proven useful in many sustainability-related tasks, including poverty prediction, infrastructure measurement, and forest monitoring. However, the accuracy afforded by high-resolution imagery comes at a cost, as such imagery is extremely expensive to purchase at scale. This creates a substantial hurdle to the efficient scaling and widespread adoption of high-resolution-based approaches. To reduce acquisition costs while maintaining accuracy, we propose a reinforcement learning approach in which free low-resolution imagery is used to dynamically identify where to acquire costly high-resolution images, prior to performing a deep learning task on the high-resolution images. We apply this approach to the task of poverty prediction in Uganda, building on an earlier approach that used object detection to count objects and use these counts to predict poverty. Our approach exceeds previous performance benchmarks on this task while using 80% fewer high-resolution images. Our approach could have application in many sustainability domains that require high-resolution imagery.

研究动机与目标

• 降低大规模贫困制图中获取高分辨率卫星图像的高昂成本。
• 在使用更少高分辨率图像瓦片的情况下，保持或提升贫困水平预测的准确性。
• 开发一种基于成本意识的自适应采样策略，利用强化学习，并以免费的低分辨率图像作为输入。
• 通过保留采样瓦片中对象计数的特征重要性模式，保持模型的可解释性。
• 实现在资源受限的可持续性应用中，高分辨率卫星数据驱动的机器学习方法的可扩展部署。

提出的方法

• 训练一个强化学习智能体，根据免费的低分辨率Sentinel-2图像作为输入，决定获取哪些高分辨率图像瓦片。
• 策略网络使用一种成本意识的奖励函数，平衡预测准确性（以R²衡量）和采样效率（使用的高分辨率瓦片数量）。
• 奖励函数定义为 R = λ × R² + (1 − λ) × (1 − 已采样瓦片的比例)，其中λ控制准确性与成本之间的权衡。
• 在选定的高分辨率瓦片上执行目标检测，提取类别特定计数（如卡车、建筑物），然后用于梯度提升决策树模型以预测贫困水平。
• 该方法通过模仿学习和策略梯度方法进行端到端训练，目标是使用最少样本近似完整高分辨率数据的对象计数分布。
• 通过SHAP值保持可解释性，跨方法比较以确保特征重要性排序的一致性。

实验结果

研究问题

• RQ1 强化学习智能体能否在保持或提升贫困预测准确性的同时，有效降低高分辨率图像获取成本？
• RQ2 自适应采样方法的性能与全面使用所有高分辨率瓦片相比如何？
• RQ3 与先前使用全部高分辨率数据的方法相比，该方法在多大程度上保持了可解释性？
• RQ4 输入图像的选择（如雨季与旱季）在多大程度上影响策略网络识别信息丰富瓦片的能力？
• RQ5 该方法能否优于依赖外部数据层（如夜间灯光或聚居地地图）的基线方法？

主要发现

• 所提方法将高分辨率图像使用量减少80%，同时R²得分达到0.60，高于使用全部高分辨率瓦片的基线方法（R² = 0.58）。
• 即使仅采样20%的高分辨率瓦片，该方法仍优于No Dropping基线，表明其泛化能力更强且误报更少。
• 在xView数据集上，该方法的平均精度高于No Dropping方法，表明检测性能更优且误报更少。
• 与使用外部数据层（如夜间灯光和聚居地地图）的基线相比，该方法R²高出0.16，原因在于能更准确地定位相关对象。
• 与计数预测模型相比，该方法在R²上提升了0.12，可能是因为避免了直接回归对象计数所固有的噪声。
• 该模型保持了可解释性：SHAP值对特征（如#Trucks具有高影响）的重要性排序与完整高分辨率基线保持一致。