[论文解读] Active learning for interactive satellite image change detection

Hichem Sahbi, Sébastien Deschamps+1 more|arXiv (Cornell University)|Oct 8, 2021

Remote-Sensing Image Classification参考文献 110被引用 6

一句话总结

本文提出了一种新颖的主动学习框架，用于交互式卫星图像变化检测，通过平衡代表性、多样性和模糊性，采用概率查询策略选择最具信息量的图像对供人工标注。该方法通过基于人工标注反馈迭代优化决策函数，在极低标注成本下显著降低错误率，在龙卷风影响区域的场景中，优于随机采样、不确定性采样和最大-最小采样策略。

ABSTRACT

We introduce in this paper a novel active learning algorithm for satellite image change detection. The proposed solution is interactive and based on a question and answer model, which asks an oracle (annotator) the most informative questions about the relevance of sampled satellite image pairs, and according to the oracle's responses, updates a decision function iteratively. We investigate a novel framework which models the probability that samples are relevant; this probability is obtained by minimizing an objective function capturing representativity, diversity and ambiguity. Only data with a high probability according to these criteria are selected and displayed to the oracle for further annotation. Extensive experiments on the task of satellite image change detection after natural hazards (namely tornadoes) show the relevance of the proposed method against the related work.

研究动机与目标

• 解决在龙卷风等自然灾害后卫星图像变化检测中高标注成本的挑战。
• 通过支持交互式、低成本学习并仅依赖最少的人工输入，降低对大规模标注数据集的依赖。
• 通过选择最有助于更新变化检测决策函数的信息样本，更准确地建模人工标注者（oracle）的意图。
• 在正负样本高度不平衡的数据集中提升检测性能，其中相关变化（如建筑物损毁）极为罕见。
• 将代表性、多样性和模糊性统一为单一的概率目标函数，实现最优样本选择。

提出的方法

• 该方法采用问答式交互循环，系统选择并显示最具信息量的图像对供人工标注者（oracle）进行标注。
• 通过最小化一个约束性目标函数来计算相关性的概率，该函数结合了代表性、多样性、模糊性和基数性。
• 目标函数包含正则化项，以确保选择概率的平滑性并获得闭式解。
• 基于代表性、多样性和模糊性的联合优化，对相关性概率较高的样本进行优先标注。
• 利用来自人工标注者的反馈，迭代更新决策函数，每轮标注后逐步优化模型。
• 通过在多个迭代轮次中逐步增加采样率，使用EER（等错误率）评估框架性能。

实验结果

研究问题

• RQ1 如何在自然灾害背景下，以最少的人工标注，有效应用主动学习于卫星图像变化检测？
• RQ2 将代表性、多样性和模糊性整合到统一目标函数中，相较于启发式方法，能在多大程度上提升样本选择效果？
• RQ3 在标注资源有限的情况下，概率查询策略是否能优于随机采样、不确定性采样和最大-最小采样策略，从而更有效地降低错误率？
• RQ4 在主动学习过程中，各组成部分（代表性、多样性、模糊性）的贡献如何随迭代轮次演变？
• RQ5 所提出的方法是否能有效适应相关变化极为罕见的高不平衡数据集？

主要发现

• 所提方法在14.54%的采样率下实现了1.48%的等错误率（EER），显著优于随机采样、不确定性采样和最大-最小采样策略。
• 消融实验表明，在早期迭代中，代表性与多样性最为关键，而模糊性在后期阶段对局部精细化起着愈发重要的作用。
• 该方法的EER下降速度超过所有基线方法，并在最终迭代中实现超越，表明其对人工标注反馈具有快速适应能力。
• 在目标函数中同时包含代表性、多样性与模糊性三个组件时，性能最佳，EER为1.48%，采样率为14.54%。
• 模型的概率形式化表达支持闭式解和稳定收敛，优于基于启发式的主动学习方法。
• 完全监督学习的EER为0.94%，表明该方法仅使用14.54%的标注数据，即可逼近接近最优的性能。