[论文解读] An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset

Zhiwei Ma, Haojie Li+6 more|arXiv (Cornell University)|Aug 26, 2021

Advanced Neural Network Applications参考文献 10被引用 6

一句话总结

本文提出 US-Net，一种半监督水下语义分割网络，通过伪标签生成器和边界检测子网络提升边界分割精度。基于新引入的 DUT-USEG 数据集（包含 6,617 张真实水下图像，附带语义与实例分割标注），该方法在三种关键物种（海参、沙参、海星）上实现最先进性能，mIoU 提升 6.7%。

ABSTRACT

With the development of underwater object grabbing technology, underwater object recognition and segmentation of high accuracy has become a challenge. The existing underwater object detection technology can only give the general position of an object, unable to give more detailed information such as the outline of the object, which seriously affects the grabbing efficiency. To address this problem, we label and establish the first underwater semantic segmentation dataset of real scene(DUT-USEG:DUT Underwater Segmentation Dataset). The DUT- USEG dataset includes 6617 images, 1487 of which have semantic segmentation and instance segmentation annotations, and the remaining 5130 images have object detection box annotations. Based on this dataset, we propose a semi-supervised underwater semantic segmentation network focusing on the boundaries(US-Net: Underwater Segmentation Network). By designing a pseudo label generator and a boundary detection subnetwork, this network realizes the fine learning of boundaries between underwater objects and background, and improves the segmentation effect of boundary areas. Experiments show that the proposed method improves by 6.7% in three categories of holothurian, echinus, starfish in DUT-USEG dataset, and achieves state-of-the-art results. The DUT- USEG dataset will be released at https://github.com/baxiyi/DUT-USEG.

研究动机与目标

• 解决水下场景中高精度语义分割，特别是目标边界勾勒的不足。
• 克服现有水下目标检测方法仅提供粗粒度定位而缺乏详细目标轮廓的局限。
• 开发一种半监督深度学习框架，提升低能见度水下环境中的分割性能。
• 构建一个大规模真实水下数据集，以支持未来水下图像理解研究。
• 提升水下目标与背景之间细小边界的分割精度，这对机器人抓取任务至关重要。

提出的方法

• 提出 US-Net，一种专为水下图像设计、具备增强边界学习能力的半监督语义分割网络。
• 集成伪标签生成器，利用未标注数据提升模型泛化能力，降低对完全标注数据的依赖。
• 引入专用边界检测子网络，显式学习并优化复杂水下场景中的目标边界。
• 使用 DUT-USEG 数据集中的完全标注图像（1,487 张）和弱标注图像（5,130 张带边界框）进行端到端训练。
• 采用多任务学习联合优化分割与边界预测，提升定位精度。
• 应用数据增强与域适应技术，应对水下图像退化问题，如色彩失真与低对比度。

实验结果

研究问题

• RQ1 在完全标注数据有限的水下环境中，半监督深度学习方法能否显著提升语义分割精度？
• RQ2 显式边界监督在多大程度上提升水下图像中目标分割的精度？
• RQ3 所提出的伪标签生成器在利用弱标注数据（边界框）训练分割模型方面效果如何？
• RQ4 集成边界检测子网络是否能为具有挑战性的水下物种带来可测量的 mIoU 提升？
• RQ5 新构建的真实水下场景数据集能否支持语义分割任务中的最先进性能？

主要发现

• 所提出的 US-Net 方法在 DUT-USEG 数据集上对三种目标类别（海参、沙参、海星）的平均交并比（mIoU）实现了 6.7% 的绝对提升。
• 该模型在 DUT-USEG 基准上表现达到最先进水平，在语义分割与实例分割任务中均优于现有方法。
• 边界检测子网络的引入显著提升了目标边缘的分割精度，而这些区域在水下图像中通常模糊或被错误分类。
• 伪标签生成器有效利用了 5,130 张带边界框标注的图像，提升模型性能，减少对昂贵像素级标注的依赖。
• 包含 6,617 张真实水下图像、涵盖多样物种与环境条件的 DUT-USEG 数据集，为未来水下视觉研究提供了坚实基础。
• 该方法在不同水下物种与光照条件下均表现出良好泛化能力，表明其对视觉退化具有强鲁棒性。