[论文解读] DeepUNet: A Deep Fully Convolutional Network for Pixel-level Sea-Land Segmentation

Ruirui Li, Wenjie Liu+5 more|arXiv (Cornell University)|Sep 1, 2017

Advanced Neural Network Applications参考文献 14被引用 31

一句话总结

本文提出 DeepUNet，一种新型全卷积神经网络，采用 U-连接与 Plus-连接结构，用于高分辨率遥感图像中的像素级海陆分割。通过在编码器-解码器架构中用 DownBlocks 和 UpBlocks 替换标准卷积层，DeepUNet 改进了特征融合与边界精度，在新收集的数据集上实现了最先进性能，总体精确率达到 99.04%，F1 分数达到 98.74%。

ABSTRACT

Semantic segmentation is a fundamental research in remote sensing image processing. Because of the complex maritime environment, the sea-land segmentation is a challenging task. Although the neural network has achieved excellent performance in semantic segmentation in the last years, there are a few of works using CNN for sea-land segmentation and the results could be further improved. This paper proposes a novel deep convolution neural network named DeepUNet. Like the U-Net, its structure has a contracting path and an expansive path to get high resolution output. But differently, the DeepUNet uses DownBlocks instead of convolution layers in the contracting path and uses UpBlock in the expansive path. The two novel blocks bring two new connections that are U-connection and Plus connection. They are promoted to get more precise segmentation results. To verify our network architecture, we made a new challenging sea-land dataset and compare the DeepUNet on it with the SegNet and the U-Net. Experimental results show that DeepUNet achieved good performance compared with other architectures, especially in high-resolution remote sensing imagery.

研究动机与目标

• 解决在复杂、高分辨率遥感图像中存在多种环境干扰时，实现像素级海陆分割的挑战。
• 克服现有基于 CNN 的方法（如 U-Net 和 SegNet）在处理细小边界和小尺度特征（如船只或海岸结构）时的局限性。
• 设计一种更高效、对称且适用于遥感图像分割的全卷积网络架构。
• 提供一个包含 207 幅图像的新颖、高质量、人工标注的数据集，用于海陆分割模型的基准测试。

提出的方法

• 提出一种新型网络架构 DeepUNet，基于 U-Net 编码器-解码器框架，但通过引入 DownBlocks 和 UpBlocks 以增强特征学习能力。
• 提出两种新型跳跃连接：U-连接通过拼接收缩路径与扩张路径的特征实现，Plus-连接则执行类似残差的逐元素相加操作。
• 在收缩路径中使用 DownBlocks，结合步幅卷积与残差连接，实现特征下采样同时保留空间细节。
• 在扩张路径中使用 UpBlocks，结合转置卷积与残差连接，实现特征上采样并优化分割输出。
• 采用对称的全卷积设计，以保持高分辨率预测，适用于像素级分类任务。
• 使用带类别平衡的二元交叉熵损失函数进行端到端训练，以应对海陆区域分布不均衡的问题。

实验结果

研究问题

• RQ1 经过改进的 U-Net 架构结合增强型跳跃连接，是否能提升在高分辨率海陆遥感图像上的分割精度？
• RQ2 所提出的 DownBlock 和 UpBlock 结构相较于标准卷积层，在下采样与上采样过程中，对空间与语义特征的保留效果如何？
• RQ3 U-连接与 Plus-连接在海陆分割中对特征融合与边界精度的提升程度如何？
• RQ4 在包含复杂海岸特征的新型挑战性数据集上，DeepUNet 相较于 U-Net 和 SegNet 等成熟模型的表现如何？
• RQ5 该架构在小目标与复杂结构（如船只和海上设施）上的泛化能力如何？

主要发现

• DeepUNet 在 85 幅图像的完整测试集上实现了 99.04% 的总体精确率与 98.74% 的 F1 分数，显著优于 U-Net（97.57% 精确率，97.05% F1 分数）与 SegNet（97.81% 精确率，97.01% F1 分数）。
• 在包含复杂结构的港口图像上，DeepUNet 实现了 97.50% 的总体精确率与 95.39% 的 F1 分数，而 U-Net 为 85.70% 与 78.27%，SegNet 为 94.92% 与 90.35%。
• U-连接与 Plus-连接机制显著提升了边界精度，相比标准 U-Net，减少了小尺度区域与边缘区域的误分类。
• DeepUNet 在分割细小细节（如船只与海岸结构）方面表现更优，而 U-Net 与 SegNet 均出现了明显错误与漏检。
• 在特定港口图像上，DeepUNet 实现了 98.14% 的总体精确率与 96.02% 的 F1 分数，相比 U-Net 在总体精确率上高出 3.65 个百分点，在 F1 分数上高出 4.8 个百分点。
• 消融实验表明，DownBlocks、UpBlocks 与双跳跃连接（U-连接与 Plus-连接）的组合对最优性能至关重要，各组件均对特征表示的提升有显著贡献。