[論文レビュー] An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset

Zhiwei Ma, Haojie Li+6 more|arXiv (Cornell University)|Aug 26, 2021

Advanced Neural Network Applications参考文献 10被引用数 6

ひとこと要約

本稿では、疑似ラベル生成器と境界検出サブネットワークを活用して境界の正確性を向上させる半教師あり水中セマンティックセグメンテーションネットワークUS-Netを提案する。新たに導入されたDUT-USEGデータセット（セマンティックおよびインスタンスセグメンテーションアノテーションを備えた6,617枚の実際の水中画像を含む）を用いて、3つの主要な種（ホタテ、エチゼンウニ、スターフィッシュ）においてmIoUを6.7%向上させ、最先端の性能を達成した。

ABSTRACT

With the development of underwater object grabbing technology, underwater object recognition and segmentation of high accuracy has become a challenge. The existing underwater object detection technology can only give the general position of an object, unable to give more detailed information such as the outline of the object, which seriously affects the grabbing efficiency. To address this problem, we label and establish the first underwater semantic segmentation dataset of real scene(DUT-USEG:DUT Underwater Segmentation Dataset). The DUT- USEG dataset includes 6617 images, 1487 of which have semantic segmentation and instance segmentation annotations, and the remaining 5130 images have object detection box annotations. Based on this dataset, we propose a semi-supervised underwater semantic segmentation network focusing on the boundaries(US-Net: Underwater Segmentation Network). By designing a pseudo label generator and a boundary detection subnetwork, this network realizes the fine learning of boundaries between underwater objects and background, and improves the segmentation effect of boundary areas. Experiments show that the proposed method improves by 6.7% in three categories of holothurian, echinus, starfish in DUT-USEG dataset, and achieves state-of-the-art results. The DUT- USEG dataset will be released at https://github.com/baxiyi/DUT-USEG.

研究の動機と目的

• 水中シーンにおける高精度なセマンティックセグメンテーション、特にオブジェクト境界の明確化の不足に対処すること。
• 詳細なオブジェクトアウトラインを提供しない、従来の水中オブジェクト検出手法の限界を克服すること。
• 低視認性の水中環境においてもセグメンテーション性能を向上させる、半教師ありディープラーニングフレームワークの開発。
• 将来的な水中画像理解研究を支援するための大規模かつ現実世界の水中データセットの構築。
• 水中オブジェクトと背景の間の微細な境界のセグメンテーションを向上させること。これはロボットによるオブジェクト 把握に不可欠である。

提案手法

• 水中画像に特化した境界学習を強化した半教師ありセマンティックセグメンテーションネットワークUS-Netを提案する。
• ラベルなしデータを活用してモデルの一般化性能を向上させ、完全アノテーションデータへの依存を低減する疑似ラベル生成器を統合する。
• 複雑な水中シーンにおけるオブジェクト境界の明示的学習と精緻化を目的とした専用の境界検出サブネットワークを組み込む。
• DUT-USEGデータセットからの完全アノテーション画像（1,487枚）と弱アノテーション画像（バウンディングボックス付き5,130枚）を用いて、ネットワークをエンドツーエンドで訓練する。
• セグメンテーションと境界予測を同時に最適化するマルチタスク学習を採用し、局所化精度を向上させる。
• 色のずれや低コントラストといった水中画像の劣化を扱うために、データ拡張およびドメイン適応技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 限られた完全アノテーションデータしかない水中環境において、半教師ありディープラーニングアプローチがセマンティックセグメンテーションの正確性を顕著に向上させることができるか？
• RQ2 明示的な境界監視が、水中画像におけるオブジェクトセグメンテーションの精度をどの程度向上させるか？
• RQ3 提案された疑似ラベル生成器は、バウンディングボックスによる弱アノテーションデータ（5,130枚）を効果的に活用し、セグメンテーションモデルの学習を促進できるか？
• RQ4 境界検出サブネットワークの統合が、挑戦的な水中種においてmIoUに測定可能な向上をもたらすか？
• RQ5 新たに収集されたリアルな水中シーンデータセットは、セマンティックセグメンテーションタスクで最先端の性能を実現できるか？

主な発見

• 提案されたUS-Net手法は、DUT-USEGデータセットにおいて、3つのターゲットクラス（ホタテ、エチゼンウニ、スターフィッシュ）で平均交差率（mIoU）を6.7%の絶対的向上を達成した。
• モデルはDUT-USEGベンチマークで最先端の性能を示し、セマンティックセグメンテーションおよびインスタンスセグメンテーションの両タスクで既存手法を上回った。
• 境界検出サブネットワークの導入により、通常水中画像ではぼやけたり誤分類されがちなオブジェクトエッジにおけるセグメンテーション精度が顕著に向上した。
• 疑似ラベル生成器は、バウンディングボックスアノテーション付きの5,130枚の画像を効果的に活用し、高価なピクセル単位のアノテーションへの依存を低減した。
• 多様な種と環境条件を含む6,617枚の実際の水中画像を有するDUT-USEGデータセットは、将来的な水中ビジョン研究の基盤として強固な土台を提供した。
• 本手法は、さまざまな水中種や照明条件に対しても良好に一般化され、視覚的劣化に対して強い耐性を示した。