[论文解读] Interactive Learning for Semantic Segmentation in Earth Observation

Gaston Lenczner, Adrien Chan-Hon-Tong+3 more|arXiv (Cornell University)|Sep 23, 2020

Advanced Image and Video Retrieval Techniques参考文献 19被引用 5

一句话总结

本文提出DISCA，一种用于地球观测语义分割的交互式、持续性微调深度神经网络的框架，利用稀疏用户标注作为真实标签。通过在目标图像上仅使用少量用户点击进行微调，DISCA将IoU提升最高达4.7%，并在领域偏移场景下显著提升性能，优于先前的方法如DISIR。

ABSTRACT

Dense pixel-wise classification maps output by deep neural networks are of extreme importance for scene understanding. However, these maps are often partially inaccurate due to a variety of possible factors. Therefore, we propose to interactively refine them within a framework named DISCA (Deep Image Segmentation with Continual Adaptation). It consists of continually adapting a neural network to a target image using an interactive learning process with sparse user annotations as ground-truth. We show through experiments on three datasets using synthesized annotations the benefits of the approach, reaching an IoU improvement up to 4.7% for ten sampled clicks. Finally, we exhibit that our approach can be particularly rewarding when it is faced to additional issues such as domain adaptation.

研究动机与目标

• 为解决地球观测中语义分割的深度神经网络预测在领域偏移或训练数据有限情况下的不准确性问题。
• 开发一种仅使用稀疏用户标注作为真实标签，即可实现预训练网络持续适应的方法。
• 通过交互式重训练提升图像级别的分割精度，而非局部修正。
• 在多样化的遥感数据集和具有挑战性的领域自适应设置下，评估该框架的有效性。

提出的方法

• DISCA使用基于LinkNet的预训练神经网络，并利用稀疏用户标注作为稀疏真实标签图，在目标图像上对其进行微调。
• 用户标注被作为额外通道融入输入，使网络能够学习针对目标图像的特定修正。
• 通过10个随机梯度下降步骤对网络进行重训练，学习率为2e-7，最小化标注区域上的交叉熵损失。
• 该方法按图像应用，使模型能够适应局部图像特征，并提升整幅图像的分割性能。
• 在三个数据集上进行评估：ISPRS Potsdam、INRIA Aerial和AIRS，使用合成标注进行验证。
• 与DISIR（一种先前的交互式分割方法，不重训练网络）进行比较，证明持续适应的优势。

实验结果

研究问题

• RQ1 使用稀疏用户标注进行交互式学习是否能显著提升地球观测图像中语义分割的准确性？
• RQ2 通过重训练实现的持续适应与非自适应的局部修正方法相比，在分割质量上表现如何？
• RQ3 当模型应用于领域偏移场景（如从AIRS迁移到ISPRS）时，DISCA能在多大程度上提升分割性能？
• RQ4 当初始预测高度不准确或不确定时，该框架是否仍能保持鲁棒性并实现性能提升？
• RQ5 该方法是否仅通过少量用户点击即可实现显著的IoU提升？

主要发现

• DISCA仅使用十次用户标注，在三个数据集上平均IoU提升2.5%，在ISPRS数据集上最高提升达4.7%。
• 在ISPRS数据集上，DISCA将IoU从85.4%（微调前）提升至86.5%（微调后），优于DISIR的86.4%。
• 在领域自适应场景（从AIRS到ISPRS）中，DISCA使用十次标注实现平均20%的IoU提升，而DISIR仅提升5%。
• 视觉上，DISCA生成的分割图整体更准确，能正确识别源领域中未见的异常屋顶形状或尺寸的建筑物。
• 该方法能有效纠正全局预测错误，并在初始预测因领域偏移而存在缺陷时，显著提升不确定区域的分割性能。
• DISCA表明，通过重训练实现的持续适应比空间局部引导更有效，尤其在复杂或分布外场景中。