[论文解读] Learning to Measure Change: Fully Convolutional Siamese Metric Networks for Scene Change Detection

Enqiang Guo, Xinsha Fu+5 more|ArXiv.org|Oct 22, 2018

Remote-Sensing Image Classification参考文献 49被引用 72

一句话总结

本论文介绍 CosimNet，一种全卷积的孪生度量网络，直接对成对图像之间的像素级变化进行测量，利用对比学习和阈值对比损失进行学习度量，以在光照、视角和缩放变化下将语义变化与噪声变化区分开。

ABSTRACT

A critical challenge problem of scene change detection is that noisy changes generated by varying illumination, shadows and camera viewpoint make variances of a scene difficult to define and measure since the noisy changes and semantic ones are entangled. Following the intuitive idea of detecting changes by directly comparing dissimilarities between a pair of features, we propose a novel fully Convolutional siamese metric Network(CosimNet) to measure changes by customizing implicit metrics. To learn more discriminative metrics, we utilize contrastive loss to reduce the distance between the unchanged feature pairs and to enlarge the distance between the changed feature pairs. Specifically, to address the issue of large viewpoint differences, we propose Thresholded Contrastive Loss (TCL) with a more tolerant strategy to punish noisy changes. We demonstrate the effectiveness of the proposed approach with experiments on three challenging datasets: CDnet, PCD2015, and VL-CMU-CD. Our approach is robust to lots of challenging conditions, such as illumination changes, large viewpoint difference caused by camera motion and zooming. In addition, we incorporate the distance metric into the segmentation framework and validate the effectiveness through visualization of change maps and feature distribution. The source code is available at https://github.com/gmayday1997/ChangeDet.

研究动机与目标

• 把变化检测动机建立为一种不相似性衡量问题，而非仅仅分类方法。
• 开发一个端到端可训练的框架，学习用于变化检测的隐式度量。
• 降低因光照、阴影和相机视角差异所引起的噪声变化的敏感性。
• 将距离度量整合到基于 FCN 的变化检测中，并通过多个数据集进行验证。

提出的方法

• 使用全卷积孪生网络从成对图像中提取成对特征。
• 在归一化特征上应用预定义的距离度量（如 L2 或余弦距离）以产生变化图。
• 用对比损失训练，使未改变的对变得接近、改变的对分离。
• 引入阈值对比损失（TCL）以容忍较大视角差异。
• 采用多层侧输出（MLSO）训练以实现深层监督和逐层损失平衡。
• 将学习到的度量整合到基于 FCN 的分割框架中，实现端到端的变化检测。

实验结果

研究问题

• RQ1 如何定义和学习一个判别性度量，强调语义变化同时抑制噪声变化？
• RQ2 带度量学习的孪生 FCN 能否提高场景变化检测在光照和视角变化下的鲁棒性？
• RQ3 在较大视角差异下，阈值对比损失（TCL）是否带来实际收益？
• RQ4 将距离度量整合到基于 FCN 的变化检测中是否在跨数据集上改善分割质量？

主要发现

• 使用 TCL 的 CosimNet 在 VL-CMU-CD 和 PCD2015 数据集上优于基线，得益于使用 L2 距离以及更深层、语义性更强的特征。
• 原始对比损失在小视角差异时就足够，而 TCL 在较大视角差异（PTZ 场景）下提升性能。
• 欧几里得距离通常在各层上比余弦相似度获得更高的 RMS 对比度和更好的变化图。
• MLSO 训练增强了中间层的判别性，从而提升了整体变化检测性能。
• CosimNet 在 CDnet 上取得了有竞争力的结果，尤其在较大视角差异下，尽管在某些指标上语义分割基线仍然强劲。