[论文解读] Better, Not Just More: Data-Centric Machine Learning for Earth Observation

Ribana Roscher, Marc Rußwurm+9 more|arXiv (Cornell University)|Dec 8, 2023

Geographic Information Systems Studies被引用 4

一句话总结

本文倡导在地理空间机器学习中采用以数据为中心的方法，以克服以模型为中心的方法所面临的性能饱和问题。它提出了一套系统化的框架，通过数据整理、数据生成和数据估值来提升数据质量，证明有针对性的数据优化（如偏差校正和噪声去除）可增强模型的泛化能力和实际应用性，尽管准确率的提升通常较为有限（例如，在一次实验中仅提升了3.5%）。

ABSTRACT

Recent developments and research in modern machine learning have led to substantial improvements in the geospatial field. Although numerous deep learning architectures and models have been proposed, the majority of them have been solely developed on benchmark datasets that lack strong real-world relevance. Furthermore, the performance of many methods has already saturated on these datasets. We argue that a shift from a model-centric view to a complementary data-centric perspective is necessary for further improvements in accuracy, generalization ability, and real impact on end-user applications. Furthermore, considering the entire machine learning cycle-from problem definition to model deployment with feedback-is crucial for enhancing machine learning models that can be reliable in unforeseen situations. This work presents a definition as well as a precise categorization and overview of automated data-centric learning approaches for geospatial data. It highlights the complementary role of data-centric learning with respect to model-centric in the larger machine learning deployment cycle. We review papers across the entire geospatial field and categorize them into different groups. A set of representative experiments shows concrete implementation examples. These examples provide concrete steps to act on geospatial data with data-centric machine learning approaches.

研究动机与目标

• 解决以模型为中心的深度学习方法在地理空间遥感中日益增长的性能饱和问题。
• 将关注点从模型架构转向数据质量、数据整理与数据生成，以实现更稳健和可泛化的模型。
• 系统性地对适用于地理空间数据的整个机器学习生命周期中的数据为中心学习技术进行分类与定义。
• 强调数据质量标准（多样性、相关性、无偏性、一致性与准确性）在提升模型性能方面的未被充分探索的潜力。
• 提供具体的实现示例与实验验证，以指导研究人员和从业者采用数据为中心的实践。

提出的方法

• 提出将数据为中心的学习系统性地划分为六个阶段：问题定义、数据生成、数据整理、模型训练、评估与部署。
• 定义并实现关键数据质量标准：多样性、完整性、准确性、一致性、无偏性与相关性。
• 回顾并分类现有地理空间机器学习文献中的数据为中心技术，包括探索性数据分析、特征工程、图像增强、数据清洗、训练集设计与评估技术。
• 通过KLIEP进行领域自适应（以纠正地理采样偏差）以及基于置信度采样的标签噪声过滤等技术，实施代表性实验。
• 应用数据估值与采样策略，优先选择高质量且相关的样本用于训练。
• 将模型部署中的反馈循环整合回数据整理与问题定义阶段，以完成机器学习生命周期。

Figure 1 : Steps of the machine learning cycle. Each step highlights one way to interact with data, and each step can employ multiple techniques to perform the interaction (see Section 3 ). It involves problem definition, data creation and curation, model training and evaluation, and final deploymen

实验结果

研究问题

• RQ1 数据为中心的方法如何在超越模型架构改进的前提下，提升地理空间遥感中模型的泛化能力与实际性能？
• RQ2 在地球观测应用中，哪些关键数据质量标准对模型的可靠性与鲁棒性影响最大？
• RQ3 在实践中，诸如偏差校正与噪声过滤等数据为中心技术在多大程度上提升了模型准确率？
• RQ4 如何实现数据整理与生成的自动化与系统化，以支持可扩展且可信的地理空间机器学习系统？
• RQ5 当前数据为中心方法在应用于真实世界地理空间数据集时，其局限性与权衡关系是什么？

主要发现

• 通过KLIEP进行去偏处理的数据为中心方法仅在五个测试区域中的两个区域提升了模型性能，表明其效果具有上下文依赖性。
• 通过基于置信度采样的方法去除标签噪声，在一次实验中实现了3.5%的准确率提升，证明了其具有可测量但有限的改进效果。
• 许多数据为中心的技术（如数据增强与清洗）具有多重用途，模糊了类别边界，凸显了对更精细分类体系的需求。
• 本研究揭示，尽管在实际部署中至关重要，相关性、无偏性与一致性等数据质量标准在模型评估与设计中仍被严重低估。
• 尽管理论动机充分，但数据为中心方法的实际性能增益往往未达预期，表明亟需更可靠、系统化的评估框架。
• 该综述识别出在数据生成与整理方面存在显著的研究空白，特别是关于多样性和相关性的问题，呼吁未来研究优先关注这些维度。

(a) Geographic domain shift in red-nir feature space. Points represent the mean reflectance in each image