[论文解读] Semantic Change Pattern Analysis

Wensheng Cheng, Yan Zhang+3 more|arXiv (Cornell University)|Mar 7, 2020

Computational and Text Analysis Methods参考文献 35被引用 5

一句话总结

本文提出了语义变化模式分析（SCPA），这是一种针对航拍图像的新任务，通过分类语义类别之间的像素级转换，识别变化发生的*位置*和*变化类型*。主要贡献是一个新构建的、高质量标注的数据集（SCPA-Wuhan City）以及一个基准测试，其中最先进方法的平均交并比（mIoU）仅为8.31%，揭示了该任务的高难度，以及对超越标准两阶段语义分割流水线的新模型的迫切需求。

ABSTRACT

Change detection is an important problem in vision field, especially for aerial images. However, most works focus on traditional change detection, i.e., where changes happen, without considering the change type information, i.e., what changes happen. Although a few works have tried to apply semantic information to traditional change detection, they either only give the label of emerging objects without taking the change type into consideration, or set some kinds of change subjectively without specifying semantic information. To make use of semantic information and analyze change types comprehensively, we propose a new task called semantic change pattern analysis for aerial images. Given a pair of co-registered aerial images, the task requires a result including both where and what changes happen. We then describe the metric adopted for the task, which is clean and interpretable. We further provide the first well-annotated aerial image dataset for this task. Extensive baseline experiments are conducted as reference for following works. The aim of this work is to explore high-level information based on change detection and facilitate the development of this field with the publicly available dataset.

研究动机与目标

• 为解决传统变化检测仅识别*变化位置*而无法识别*变化类型*的局限性。
• 提出一项新任务——语义变化模式分析（SCPA），在航拍图像中联合识别空间位置与语义变化类型。
• 提供清晰、可解释的评估指标（平均交并比）以及高质量、人工标注的SCPA数据集。
• 利用最先进语义分割模型建立基准测试，揭示SCPA任务超越标准两阶段流水线的挑战性。
• 通过展示现有方法在该新任务上的不足，激发未来在高层变化理解方面的研究。

提出的方法

• 将SCPA定义为像素级多分类任务，其中每一类代表一种语义转换（例如：裸地 → 建筑物）。
• 将变化类型定义为源图像与目标图像语义标签的配对，确保方向性（例如：建筑物 → 裸地与裸地 → 建筑物为不同类别）。
• 采用所有变化类型上的平均交并比（IoU）作为主要评估指标，二值分类准确率为辅助指标。
• 通过人工对齐航拍图像（来自中国武汉）进行像素级标注，构建SCPA-Wuhan City（SCPA-WC）数据集。
• 采用两步法流水线，对五种最先进语义分割模型（FCN、FRRN-B、GCN、RefineNet、DeepLabv3）进行基准测试：先分别分割源图像与目标图像，再计算变化类型。
• 采用统一评估协议，比较方法在变化检测（准确率）与变化类型分类（平均IoU）上的表现。

实验结果

研究问题

• RQ1 当应用于两步法流水线时，现有语义分割模型能否有效执行语义变化模式分析？
• RQ2 与传统二值变化检测相比，SCPA任务在平均IoU和准确率上的性能差距如何？
• RQ3 所提出的SCPA-Wuhan City数据集在标注质量与像素级变化类型分类适用性方面，相较于现有数据集有何优势？
• RQ4 当前模型在捕捉图像对之间方向性语义转换方面失败的程度如何？
• RQ5 在对齐航拍图像中建模时空关系以实现细粒度变化类型识别时，主要挑战是什么？

主要发现

• 表现最佳的基线方法DeepLabv3在SCPA-Wuhan City数据集上的平均IoU仅为8.31%，表明仍有巨大提升空间。
• 所有基线方法在变化类型（0,5）和（0,6）上完全失败，分别对应从背景到农田和从背景到裸地的转换。
• 尽管平均IoU较低，所有方法的二值分类准确率均超过70%，证实其能有效检测*是否发生改变*，但无法识别*变化类型*。
• 平均IoU表现差，但二值检测准确率高，证明SCPA比传统变化检测更具复杂性与更高阶性。
• 结果表明，基于独立分割源图像与目标图像的简单两阶段流水线不足以应对SCPA任务，亟需能够建模跨图像关系的新架构。
• 所提出的SCPA-Wuhan City数据集是首个高质量、人工标注的此类数据集，为未来研究提供了坚实基础。