[论文解读] Active learning for object detection in high-resolution satellite images

Alex Goupilleau, T. Ceillier+1 more|arXiv (Cornell University)|Jan 7, 2021

Machine Learning and Algorithms参考文献 11被引用 5

一句话总结

本文评估了主动学习技术——贝叶斯丢弃和Core-Set——在高分辨率卫星图像目标检测中的应用，结果表明这些方法能以极少的标注工作量显著提升模型性能。Core-Set在各类模型中均持续优于基线方法，而贝叶斯丢弃在高性能模型上表现更优，可将标注需求减少高达80%而不损失准确性。

ABSTRACT

In machine learning, the term active learning regroups techniques that aim at selecting the most useful data to label from a large pool of unlabelled examples. While supervised deep learning techniques have shown to be increasingly efficient on many applications, they require a huge number of labelled examples to reach operational performances. Therefore, the labelling effort linked to the creation of the datasets required is also increasing. When working on defense-related remote sensing applications, labelling can be challenging due to the large areas covered and often requires military experts who are rare and whose time is primarily dedicated to operational needs. Limiting the labelling effort is thus of utmost importance. This study aims at reviewing the most relevant active learning techniques to be used for object detection on very high resolution imagery and shows an example of the value of such techniques on a relevant operational use case: aircraft detection.

研究动机与目标

• 为减少高分辨率卫星图像分析中的标注工作量，特别是在专家时间稀缺的国防相关应用中。
• 评估极高分辨率遥感图像中目标检测的主动学习技术。
• 从性能和标注效率两方面，比较基于不确定性的（贝叶斯丢弃）与基于代表性（Core-Set）的主动学习方法。
• 评估在标注预算受限的情况下，主动学习是否能优于随机选择和全量标注的基线方法。
• 探索将主动学习集成到军事与国防应用中的操作工作流程的可行性。

提出的方法

• 通过在推理阶段应用丢弃来生成多个预测，并基于预测方差计算不确定性，将贝叶斯丢弃方法适配于目标检测中的不确定性估计。
• 应用Core-Set方法，通过求解基于最后一层卷积神经网络特征激活之间L2距离的几何K-中心问题，选择最具代表性的图像。
• 采用迭代式主动学习：从未标注数据集中选择最具有信息量的前N张图像，进行标注，重新训练模型，并重复此过程直至标注预算耗尽。
• 使用两种卷积神经网络模型（弱模型和强模型）来评估不同初始模型能力下的性能表现。
• 在真实世界中的高分辨率卫星图像航空器检测数据集上，使用F1分数、精确率和召回率评估各方法的性能。
• 将主动学习方法与两种基线方法进行比较：随机选择和无限标注基线（所有新图像均被标注）。

实验结果

研究问题

• RQ1 主动学习能否显著减少在高分辨率卫星图像目标检测中实现高性能所需的标注预算？
• RQ2 在目标检测任务中，基于不确定性的（贝叶斯丢弃）与基于代表性的（Core-Set）主动学习方法在性能和效率方面如何比较？
• RQ3 主动学习的有效性是否随模型初始性能而变化，特别是在高精度区间？
• RQ4 当标注预算受限时，主动学习能否优于全量标注基线？
• RQ5 在何种条件下，贝叶斯丢弃在遥感图像目标检测中优于Core-Set？

主要发现

• 对于弱模型，Core-Set仅用1,000张标注图像即实现了6.7%的F1分数提升，达到基线模型使用超过5,700张图像才能达到的性能水平。
• 对于强模型，贝叶斯丢弃在仅使用5,000张标注图像的情况下实现了8.0%的F1分数提升，优于Core-Set（6.6%提升）和无限标注基线。
• 在弱模型上，贝叶斯丢弃的表现甚至低于随机选择，表明其在低能力模型中效用有限，但在高性能模型上则展现出显著增益。
• 即使无限标注基线拥有700张图像的优势，也未能在高召回率区间超越主动学习，表明主动学习能识别出更具信息量的样本。
• 结果表明，主动学习在已具备良好性能的模型上最为有效，此时新数据可带来增量但宝贵的性能提升。
• 本研究证明，Core-Set是一种在不同模型性能水平下均稳健且一致的主动学习方法，而贝叶斯丢弃在先进模型上表现出极高的有效性。