[论文解读] ATLANTIS: A Benchmark for Semantic Segmentation of Waterbody Images

Seyed Mohammad Hassan Erfani, Zhenyao Wu+3 more|Scholar Commons (University of South Carolina)|Nov 22, 2021

Flood Risk Assessment and Management参考文献 25被引用 48

一句话总结

ATLANTIS 提供了最大的像素级标注数据集用于水体语义分割，并引入 AQUANet，一种针对水生与非水生区域的双路径网络，在 ATLANTIS 上达到最先进的结果。

ABSTRACT

Vision-based semantic segmentation of waterbodies and nearby related objects provides important information for managing water resources and handling flooding emergency. However, the lack of large-scale labeled training and testing datasets for water-related categories prevents researchers from studying water-related issues in the computer vision field. To tackle this problem, we present ATLANTIS, a new benchmark for semantic segmentation of waterbodies and related objects. ATLANTIS consists of 5,195 images of waterbodies, as well as high quality pixel-level manual annotations of 56 classes of objects, including 17 classes of man-made objects, 18 classes of natural objects and 21 general classes. We analyze ATLANTIS in detail and evaluate several state-of-the-art semantic segmentation networks on our benchmark. In addition, a novel deep neural network, AQUANet, is developed for waterbody semantic segmentation by processing the aquatic and non-aquatic regions in two different paths. AQUANet also incorporates low-level feature modulation and cross-path modulation for enhancing feature representation. Experimental results show that the proposed AQUANet outperforms other state-of-the-art semantic segmentation networks on ATLANTIS. We claim that ATLANTIS is the largest waterbody image dataset for semantic segmentation providing a wide range of water and water-related classes and it will benefit researchers of both computer vision and water resources engineering.

研究动机与目标

• 促进水体与水相关场景的语义分割研究，以支持水资源管理和防洪应急。
• 创建一个大规模、标注丰富的数据集，覆盖自然与人工水体以及通用场景标签。
• 开发 AQUANet，一个两路径网络，分别处理水生与非水生区域，以提高水相关类别的分割。
• 通过 ATLANTIS 纹理子集 (ATeX) 提供纹理聚焦的分析，以研究水体纹理线索。
• 在 ATLANTIS 上评估最先进的分割模型以建立基线并证明 AQUANet 的有效性。

提出的方法

• 策划并标注 ATLANTIS，包含 5,195 张图像和 56 个像素级标签（17 人工、18 自然、21 通用）。
• 提出 AQUANet，它具有两个并行分支（水生 vs. 非水生），基于 ResNet-101 主干，包含低层特征调制和跨路径调制。
• 在每个路径中，使用来自 ResNet-101 的 F_l 进行低层特征调制，并使用 ASP-OC 风格模块产生概率图。
• 在连接并上采样到原始图像大小之前，应用跨路径调制以细化水生与非水生概率图。
• 使用标准交叉熵损失以及对中间 ResNet 特征的辅助损失进行训练，主损失权重为 1.0，辅助权重为 0.4。
• 创建 ATLANTIS 纹理 (ATeX)，包含 12,503 个按水体类别标记的补丁，用于纹理聚焦分析。

Figure 1: ATLANTIS: ArTificiaL And Natural waTer-bodIes dataSet.

实验结果

研究问题

• RQ1 一个大规模、多样化、像素级标注的水体数据集是否能够训练出对水相关场景具有鲁棒性的语义分割模型？
• RQ2 在 ATLANTIS 上，通用语义分割模型与水域专用架构之间的性能差距是多少？
• RQ3 两路径架构与特征调制策略是否能改善在视觉上相似的水体类别的分割？
• RQ4 低层纹理特征和跨路径交互如何影响水生类别的界定？

主要发现

• ATLANTIS 包含 5,195 张标注图像，覆盖 56 个类别，覆盖水体及相关对象。
• AQUANet 在 ATLANTIS 的水生和非水生类别上持续超越十个最先进的分割网络。
• 水生与非水生分支的双路径设计在水域区域的准确度和 IoU（A-acc、A-mIoU）方面带来显著提升。
• 低层特征调制与跨路径调制各自带来性能提升，消融实验证实了它们的有效性。
• ATeX 提供一个用于水体纹理分析的纹理聚焦数据集，使纹理基于分类研究能够与语义分割并行进行。

(a)