[论文解读] Contextual Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery

Panfeng Li, Youzuo Lin+1 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Neural Network Applications参考文献 11被引用 12

一句话总结

该论文提出上下文时钟网络（CxtHGNet），一种堆叠的编码器-解码器架构，其核心为新型上下文时钟模块，通过在低分辨率特征图上整合通道注意力与点注意力机制，增强上下文语义表征。通过多尺度特征提取、中间监督与注意力驱动的上下文建模，CxtHGNet在Potsdam与Vaihingen数据集上达到最先进性能，Potsdam数据集上达到87.15%的像素准确率（pixAcc）与70.28%的平均交并比（mIoU），Vaihingen数据集上达到87.26%的pixAcc与70.50%的mIoU。

ABSTRACT

Semantic segmentation for aerial imagery is a challenging and important problem in remotely sensed imagery analysis. In recent years, with the success of deep learning, various convolutional neural network (CNN) based models have been developed. However, due to the varying sizes of the objects and imbalanced class labels, it can be challenging to obtain accurate pixel-wise semantic segmentation results. To address those challenges, we develop a novel semantic segmentation method and call it Contextual Hourglass Network. In our method, in order to improve the robustness of the prediction, we design a new contextual hourglass module which incorporates attention mechanism on processed low-resolution featuremaps to exploit the contextual semantics. We further exploit the stacked encoder-decoder structure by connecting multiple contextual hourglass modules from end to end. This architecture can effectively extract rich multi-scale features and add more feedback loops for better learning contextual semantics through intermediate supervision. To demonstrate the efficacy of our semantic segmentation method, we test it on Potsdam and Vaihingen datasets. Through the comparisons to other baseline methods, our method yields the best results on overall performance.

研究动机与目标

• 解决高分辨率航拍影像中像素级语义分割的挑战，其中物体尺寸差异显著且类别分布不平衡。
• 通过捕捉跨多样化空间尺度的丰富多尺度上下文语义，提升特征表征能力。
• 通过在分层编码器-解码器结构中将注意力机制集成到低分辨率特征图中，增强模型鲁棒性。
• 通过堆叠时钟模块中的中间监督，实现多层级预测优化与特征学习改进。
• 开发一种可泛化的架构，将注意力机制与堆叠编码器-解码器结构相结合，以提升遥感影像分割任务的性能。

提出的方法

• 设计一种上下文时钟模块，通过下采样处理特征，对低分辨率特征图应用通道注意力与点注意力机制，以突出相关语义上下文，随后通过双线性插值上采样。
• 将上下文时钟模块集成到堆叠编码器-解码器架构中，将多个模块级联连接，实现跨尺度的重复自底向上与自顶向下推理。
• 通过在所有中间预测结果（而不仅是最终输出）上计算损失函数，实施中间监督，形成反馈回路，以提升特征学习与预测一致性。
• 采用受原始时钟网络启发的对称架构，但在瓶颈层扩展注意力模块，以优化上下文表征。
• 在编码层实现双分支头结构：一个分支预测场景中类别的存在性，另一分支通过通道乘法生成类别相关特征图的缩放因子。
• 使用Adam优化器配合学习率调度进行训练，结合数据增强（随机翻转、缩放、裁剪）与两阶段训练策略：先在无编码层条件下预训练，再使用完整架构进行微调。

实验结果

研究问题

• RQ1 在低分辨率特征图上应用注意力机制是否能提升高分辨率航拍影像分割中的上下文理解能力与预测鲁棒性？
• RQ2 与单分支或浅层架构相比，通过中间监督堆叠多个上下文时钟模块是否能增强多尺度特征学习与分割精度？
• RQ3 在具有不同数据规模与类别不平衡的基准航拍数据集上，所提出的CxtHGNet相较于FCN、SegNet、SHG与EncNet等最先进模型表现如何？
• RQ4 当训练数据有限时，该模型在捕捉小物体并保持在多样化城市场景中的一致性预测方面表现如何？
• RQ5 通过将注意力机制替换为其他注意力变体，该架构在其他遥感应用中是否具备良好的泛化能力？

主要发现

• 在Potsdam数据集上，CxtHGNet实现了87.15%的像素准确率（pixAcc）与70.28%的平均交并比（mIoU），优于所有基线模型，包括FCN、SegNet、SHG与EncNet。
• 在Vaihingen数据集上，CxtHGNet实现了87.26%的pixAcc与70.50%的mIoU，即使在训练集较小（1,200张样本）且数据有限的情况下也表现出强劲性能。
• 可视化对比显示，CxtHGNet能成功捕捉城市场景中的小而精细的物体（如红色与白色区域），而FCN与SegNet则未能检测到这些目标。
• 与其它模型相比，CxtHGNet在复杂场景中生成了更一致且连贯的预测结果，尤其在区分外观相似的物体方面表现更优。
• 尽管具有诸多优势，CxtHGNet在某些情况下仍会产生噪声预测或错误分类小区域（如某张图像的中上部区域），表明其在定位精度方面仍有改进空间。
• 消融实验表明，中间监督与注意力机制对性能提升具有关键作用，缺少这些模块的模型性能显著下降。