[论文解读] Weakly Supervised Silhouette-based Semantic Scene Change Detection

Ken Sakurada, Mikiya Shibuya+1 more|arXiv (Cornell University)|Nov 29, 2018

Remote-Sensing Image Classification参考文献 51被引用 7

一句话总结

该论文提出了一种弱监督语义场景变化检测框架，通过使用孪生相关网络（CSCDNet）和基于轮廓的语义网络（SSCDNet），将变化检测与语义标注解耦。通过在现有分割数据集上进行训练并引入视角鲁棒性变化检测，该方法在PCD数据集上实现了最先进性能，并在新发布的PSCD基准数据集上验证了即使在噪声变化掩码下也能实现有效的语义变化检测。

ABSTRACT

This paper presents a novel semantic scene change detection scheme with only weak supervision. A straightforward approach for this task is to train a semantic change detection network directly from a large-scale dataset in an end-to-end manner. However, a specific dataset for this task, which is usually labor-intensive and time-consuming, becomes indispensable. To avoid this problem, we propose to train this kind of network from existing datasets by dividing this task into change detection and semantic extraction. On the other hand, the difference in camera viewpoints, for example, images of the same scene captured from a vehicle-mounted camera at different time points, usually brings a challenge to the change detection task. To address this challenge, we propose a new siamese network structure with the introduction of correlation layer. In addition, we collect and annotate a publicly available dataset for semantic change detection to evaluate the proposed method. The experimental results verified both the robustness to viewpoint difference in change detection task and the effectiveness for semantic change detection of the proposed networks. Our code and dataset are available at https://kensakurada.github.io/pscd.

研究动机与目标

• 为解决语义场景变化检测缺乏大规模标注数据集的问题，此类数据集的创建成本高昂。
• 实现在无需在专用、耗时的标注数据集上进行端到端训练的前提下，实现语义变化检测。
• 提升在车载摄像头图像中因视角变化带来的鲁棒性，这是变化检测中的主要挑战。
• 开发一种两阶段框架，将变化检测与语义标注分离，以提升泛化能力与训练效率。
• 创建并发布首个公开可用的街景级语义变化检测数据集（PSCD），用于基准测试。

提出的方法

• 该方法采用两阶段流程：首先，相关孪生变化检测网络（CSCDNet）处理图像对，生成对视角差异具有鲁棒性的变化概率掩码，通过相关层实现。
• 其次，SSCDNet将图像对和估计的变化掩码作为输入，预测每幅图像的像素级语义标签，其在Mapillary Vistas等语义分割数据集的合成数据上进行训练。
• 在SSCDNet训练过程中，对变化掩码应用数据增强，以提升对变化检测输出错误的鲁棒性。
• CSCDNet在PCD数据集上进行训练，以实现视角鲁棒性变化检测，在该基准上达到最先进性能。
• SSCDNet通过从语义分割标注中合成变化检测掩码，以弱监督方式训练，避免了对场景变化的直接标注。
• 即使变化掩码不完美，该框架仍能实现语义变化检测，通过在增强掩码上进行训练，学习纠正检测错误。

实验结果

研究问题

• RQ1 能否仅使用现有语义分割数据集的弱监督信号，有效训练语义场景变化检测？
• RQ2 如何使变化检测网络在车载摄像头图像中对大视角变化具有鲁棒性？
• RQ3 变化检测掩码的准确性在多大程度上影响最终语义变化检测系统的性能？
• RQ4 两阶段方法——将变化检测与语义标注分离——是否能在无需在稀有、标注的变化检测数据集上进行端到端训练的情况下，实现具有竞争力的性能？
• RQ5 当拥有完整的语义变化检测数据集时，所提方法与端到端学习相比表现如何？

主要发现

• 所提出的CSCDNet结合相关层在全景变化检测（PCD）数据集上实现了最先进性能，优于现有方法，在处理视角变化方面表现更优。
• 在PSCD数据集上，SSCDNet在变化掩码输入存在错误时，通过掩码数据增强训练，mIoU达到0.283，而未使用增强的版本仅为0.223。
• 在PSCD数据集上，完整流程（CSCDNet + SSCDNet）的平均交并比（mIoU）为0.303，接近端到端训练方法（CSSCDNet）的0.322性能。
• 使用真实变化掩码训练的SSCDNet达到0.283的mIoU，表明即使在掩码准确时也表现出色。
• 该方法对变化检测错误具有鲁棒性：当输入掩码存在噪声时，经过增强训练的SSCDNet优于未增强版本。
• PSCD数据集中的失败案例主要源于对小型遮挡物体（如广告牌和植被）的训练数据不足，表明需要更丰富的训练数据。