[论文解读] MACU-Net Semantic Segmentation from High-Resolution Remote Sensing Images.

Rui Li, Chenxi Duan+1 more|arXiv (Cornell University)|Jul 26, 2020

Medical Image Segmentation Techniques被引用 6

一句话总结

该论文提出MACU-Net，一种基于U-Net的架构，采用多尺度跳跃连接和非对称卷积模块，用于高分辨率遥感图像的语义分割。通过在编码器-解码器层之间融合多尺度特征，并利用非对称卷积增强表征能力，MACU-Net在两个卫星衍生数据集上优于U-Net、SegNet和DeepLab V3+。

ABSTRACT

Semantic segmentation of remote sensing images plays an important role in land resource management, yield estimation, and economic assessment. U-Net is a sophisticated encoder-decoder architecture which has been frequently used in medical image segmentation and has attained prominent performance. And asymmetric convolution block can enhance the square convolution kernels using asymmetric convolutions. In this paper, based on U-Net and asymmetric convolution block, we incorporate multi-scale features generated by different layers of U-Net and design a multi-scale skip connected architecture, MACU-Net, for semantic segmentation using high-resolution remote sensing images. Our design has the following advantages: (1) The multi-scale skip connections combine and realign semantic features contained both in low-level and high-level feature maps with different scales; (2) the asymmetric convolution block strengthens the representational capacity of a standard convolution layer. Experiments conducted on two remote sensing image datasets captured by separate satellites demonstrate that the performance of our MACU-Net transcends the U-Net, SegNet, DeepLab V3+, and other baseline algorithms.

研究动机与目标

• 为解决高分辨率遥感图像语义分割中的挑战，该任务需要在不同空间尺度上实现精确的特征表征。
• 通过整合U-Net编码器-解码器架构中不同层级的多尺度特征，增强特征表征能力。
• 通过使用非对称卷积模块替代标准方形卷积核，提升卷积层的表征能力。
• 开发一种鲁棒架构，将层次化特征与非对称卷积相结合，以实现更优的分割性能。

提出的方法

• 所提出的MACU-Net通过一种新颖的多尺度跳跃连接机制，从低层和高层特征图中融合多尺度特征。
• 引入非对称卷积模块以替代标准卷积层，从而在减少参数量的同时扩大感受野。
• 该架构保持了U-Net的编码器-解码器结构，但增强了跳跃连接，以实现不同尺度间特征的对齐。
• 通过跨层对齐和融合多尺度特征，既保留了空间细节，又丰富了语义上下文。
• 网络在遥感图像数据集上使用标准分割损失函数进行端到端训练。
• 设计重点在于特征对齐与多尺度融合，以在不显著增加模型复杂度的前提下提升分割精度。

实验结果

研究问题

• RQ1 多尺度跳跃连接是否能通过融合U-Net架构中不同层级的特征，提升高分辨率遥感图像的语义分割性能？
• RQ2 与标准卷积层相比，非对称卷积模块在遥感图像分割任务中在多大程度上增强了特征表征能力？
• RQ3 MACU-Net在高分辨率卫星图像上的分割精度方面，与U-Net、SegNet和DeepLab V3+等成熟模型相比如何？
• RQ4 通过跳跃连接整合多尺度特征是否能更好地保留空间细节并提升语义一致性？

主要发现

• MACU-Net在两个高分辨率遥感图像数据集上均优于U-Net、SegNet和DeepLab V3+。
• 多尺度跳跃连接有效结合并重新对齐了来自低层和高层特征图的语义特征，覆盖不同尺度。
• 非对称卷积模块增强了网络的表征能力，在不显著增加参数量的情况下提升了特征学习效果。
• 所提出的架构在不同卫星拍摄的多样化遥感场景中均表现出一致的性能提升。
• 该模型的设计有效平衡了特征层次结构与空间细节的保留，从而产生更精确的分割输出。