[论文解读] Evaluation Challenges for Geospatial ML

Esther Rolf|arXiv (Cornell University)|Mar 31, 2023

Human Mobility and Location-Based Analysis被引用 15

一句话总结

本文综述了地理空间ML和地图在评估方面独有的挑战，比较了地图准确性与模型性能，并提出了改进评估实践的具体机会。

ABSTRACT

As geospatial machine learning models and maps derived from their predictions are increasingly used for downstream analyses in science and policy, it is imperative to evaluate their accuracy and applicability. Geospatial machine learning has key distinctions from other learning paradigms, and as such, the correct way to measure performance of spatial machine learning outputs has been a topic of debate. In this paper, I delineate unique challenges of model evaluation for geospatial machine learning with global or remotely sensed datasets, culminating in concrete takeaways to improve evaluations of geospatial model performance.

研究动机与目标

• 动机：由于地理空间ML预测在科学和政策中的下游用途，需要进行严格评估。
• 解释地理空间数据结构（空间自相关、协变量漂移）如何使传统ML评估变得复杂。
• 区分将地图准确性作为总体参数进行测量与评估更广泛的模型性能。
• 提出具体机会以改进地理空间ML的评估数据、框架和透明度。
• 强调具有空间意识的验证方法及其在反映现实世界性能方面的局限性。

提出的方法

• 将地图准确性定义为在目标域内对预测值和真实值的总体参数，并给出记号。
• 在可用时，讨论使用概率样本进行准确性评估的设计型与模型型估计。
• 将地图准确性与包括空间泛化、可解释性和可用性在内的更广义模型性能区分开。
• 回顾具有空间意识的评估方法（空间交叉验证、缓冲验证、聚焦外推的设计）及其对报告性能的影响。
• 建议互补的评估做法，如残差可视化和基线比较，以为结果提供情境。
• 概述三项提升评估格局的机会：更好的评估数据、评估框架，以及对局限性的透明报告。

实验结果

研究问题

• RQ1 与传统ML相比，地理空间ML带来的独特评估挑战有哪些？
• RQ2 空间结构和数据缺口如何影响标准评估过程的有效性？
• RQ3 在地理空间背景下，哪些评估方法适合量化地图准确性与更广泛的模型性能？
• RQ4 哪些具体机会可以提升地理空间ML评估的可靠性与透明度？

主要发现

• 地图准确性应被视为待估计的总体参数，当评估数据来自独立于设计的概率样本时，可以进行设计型推断。
• 地理空间ML的性能不仅限于地图准确性，还包括空间泛化、外推、可解释性和可用性。
• 空间相关性和协变量漂移可能膨胀非空间验证结果并影响泛化评估，因此非空间划分往往不适用。
• 空间交叉验证降低了空间依赖，但在插值情形下可能低估性能，凸显需要多样的验证设计。
• 提出三项机会：加强评估数据、加强评估框架，以及在数据不足时清晰地传达局限性。