[論文レビュー] ATLANTIS: A Benchmark for Semantic Segmentation of Waterbody Images

Seyed Mohammad Hassan Erfani, Zhenyao Wu+3 more|Scholar Commons (University of South Carolina)|Nov 22, 2021

Flood Risk Assessment and Management参考文献 25被引用数 48

ひとこと要約

ATLANTIS は水体の意味的セグメンテーションのための最大規模のピクセルレベル注釈データセットを提供し、海水域と非水域の二重経路ネットワーク AQUANet を導入、ATLANTIS で最先端の結果を達成。

ABSTRACT

Vision-based semantic segmentation of waterbodies and nearby related objects provides important information for managing water resources and handling flooding emergency. However, the lack of large-scale labeled training and testing datasets for water-related categories prevents researchers from studying water-related issues in the computer vision field. To tackle this problem, we present ATLANTIS, a new benchmark for semantic segmentation of waterbodies and related objects. ATLANTIS consists of 5,195 images of waterbodies, as well as high quality pixel-level manual annotations of 56 classes of objects, including 17 classes of man-made objects, 18 classes of natural objects and 21 general classes. We analyze ATLANTIS in detail and evaluate several state-of-the-art semantic segmentation networks on our benchmark. In addition, a novel deep neural network, AQUANet, is developed for waterbody semantic segmentation by processing the aquatic and non-aquatic regions in two different paths. AQUANet also incorporates low-level feature modulation and cross-path modulation for enhancing feature representation. Experimental results show that the proposed AQUANet outperforms other state-of-the-art semantic segmentation networks on ATLANTIS. We claim that ATLANTIS is the largest waterbody image dataset for semantic segmentation providing a wide range of water and water-related classes and it will benefit researchers of both computer vision and water resources engineering.

研究の動機と目的

• 水体および水関連シーンの意味的セグメンテーションを動機づけ、水資源管理と洪水対応を支援する。
• 自然水体と人工水体を含む大規模で豊富に注釈されたデータセットと一般的なシーンラベルを作成する。
• 水関連クラスのセグメンテーションを改善するために、水生領域と非水生領域を個別に処理する2経路ネットワーク AQUANet を開発する。
• 水体のテクスチャ手がかりを研究するために ATLANTIS Texture (ATeX) サブセットを介してテクスチャ中心の分析を提供する。
• ATLANTIS 上の最先端セグメンテーションモデルを評価してベースラインを確立し、AQUANet の効果を実証する。

提案手法

• ATLANTIS を 5,195 枚の画像と 56 のピクセルレベルラベルでキュレーションおよび注釈付けする（17 人工、18 自然、21 一般）。
• ResNet-101 バックボーンを用いた水生系と非水生系の2つの並列ブランチを持つ AQUANet を提案し、低レベル特徴のモジュレーションとクロスパスモジュレーションを含む。
• 各パスで、ResNet-101 の F_l を用いた低レベル特徴モジュレーションと ASP-OC スタイルのモジュールを適用して確率マップを生成する。
• 連結と元の画像サイズへのアップサンプリング前に、水生・非水生の確率マップを精錬するためのクロスパスモジュレーションを適用する。
• 標準のクロスエントロピ損失に加えて、中間の ResNet 特徴に auxiliary 損失を加えて訓練し、メイン損失のウェイトを 1.0、 auxiliary のウェイトを 0.4 に設定する。
• 水体カテゴリでラベル付けされた 12,503 パッチを含む ATLANTIS Texture (ATeX) を作成し、テクスチャ中心の分析を行う。

Figure 1: ATLANTIS: ArTificiaL And Natural waTer-bodIes dataSet.

実験結果

リサーチクエスチョン

• RQ1 大規模で多様なピクセル注釈付き水体データセットは、水関連シーンの堅牢な意味的セグメンテーションモデルの訓練を可能にするか？
• RQ2 ATLANTIS で一般的な意味的セグメンテーションモデルと水専用アーキテクチャの性能差はどれくらいか？
• RQ3 二経路アーキテクチャと特徴モジュレーション戦略は視覚的に類似した水体クラスのセグメンテーションを改善するか？
• RQ4 低レベルのテクスチャ特徴とクロスパス相互作用は水生クラスの区分にどのように影響するか？

主な発見

• ATLANTIS は 5,195 枚の注釈付き画像を 56 クラスにまたがって含み、水体と関連オブジェクトの広範なカバレッジを可能にする。
• AQUANet は定量的なテストで水生および非水生カテゴリの両方において、ATLANTIS 上の10の最先端セグメンテーションネットワークを一貫して上回る。
• 二経路設計は水生領域の精度と IoU（A-acc、A-mIoU）で顕著な向上をもたらす。
• 低レベル特徴モジュレーションとクロスパスモジュレーションはそれぞれ性能向上に寄与し、アブレーションによりその有効性が確認されている。
• ATeX は水体のテクスチャ分析のためのテクスチャ中心のデータセットを提供し、意味的セグメンテーションと並行してテクスチャに基づく分類研究を可能にする。

(a)