[論文レビュー] UDD: An Underwater Open-sea Farm Object Detection Dataset for Underwater Robot Picking.

Zhihui Wang, Chongwei Liu+7 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Neural Network Applications参考文献 69被引用数 13

ひとこと要約

本稿では、シーカンタール、シギ、ハマグリの3種類の生物を含む、2,227枚の画像を有する、水中ロボットピッキングを対象とした世界で初めての実世界オープンシーアーファームデータセットUDDを紹介する。クラス不均衡と小物検出の課題に対処するため、Poisson GANを用いたデータ拡張（18,000枚の画像を有するAUDDの作成）と、マルチスケール融合およびブラー・サブサンプリングを備えた軽量なUnderwaterNetを提案し、精度を損なわずに130万パラメータ、48FPSの推論速度を達成した。

ABSTRACT

To promote the development of underwater robot picking in sea farms, we propose an underwater open-sea farm object detection dataset called UDD. Concretely, UDD consists of 3 categories (seacucumber, seaurchin, and scallop) with 2227 images. To the best of our knowledge, it's the first dataset collected in a real open-sea farm for underwater robot picking and we also propose a novel Poisson-blending-embedded Generative Adversarial Network (Poisson GAN) to overcome the class-imbalance and massive small objects issues in UDD. By utilizing Poisson GAN to change the number, position, even size of objects in UDD, we construct a large scale augmented dataset (AUDD) containing 18K images. Besides, in order to make the detector better adapted to the underwater picking environment, a dataset (Pre-trained dataset) for pre-training containing 590K images is also proposed. Finally, we design a lightweight network (UnderwaterNet) to address the problems that detecting small objects from cloudy underwater pictures and meeting the efficiency requirements in robots. Specifically, we design a depth-wise-convolution-based Multi-scale Contextual Features Fusion (MFF) block and a Multi-scale Blursampling (MBP) module to reduce the parameters of the network to 1.3M at 48FPS, without any loss on accuracy. Extensive experiments verify the effectiveness of the proposed UnderwaterNet, Poisson GAN, UDD, AUDD, and Pre-trained datasets.

研究の動機と目的

• ロボットピッキング用途のための実世界の水中オープンシーアーファームデータセットの不足を解消すること。
• 曇りで視界が悪い状況下における、小規模で多数の不均衡な水中オブジェクトを検出する課題に対処すること。
• ロボットシステムのリアルタイム要件を満たす、軽量で効率的な検出器を開発すること。
• モデルの汎化性能と耐障害性を向上させるために、大規模な拡張データセット（AUDD）を作成すること。
• 水中オブジェクト検出の特徴学習を強化するための、59万枚の事前学習データセットを提供すること。

提案手法

• 実世界のオープンシーアーファムから収集した2,227枚の画像を有する、シーカンタール、シギ、ハマグリの3種類の生物を対象とした、UDDというデータセットを提案する。
• Poissonブレンドを埋め込んだ新規の生成的対抗ネットワーク（GAN）であるPoisson GANを導入し、実際のオブジェクトの配置、サイズ、密度を再現する合成画像を生成する。
• Poisson GANを用いて、クラス不均衡や小物の不足を緩和する目的で、18,000枚の画像を有する大規模な拡張データセットAUDDを生成する。
• マルチスケールのコンテキスト特徴マッピングを統合するための深さ方向畳み込みベースのマルチスケール特徴融合（MFF）ブロックを備えた、軽量なオブジェクト検出ネットワークであるUnderwaterNetを設計する。
• 計算コストを低減しつつ検出精度を維持するため、マルチスケールブラー・サブサンプリング（MBP）モジュールを統合する。
• バックボーンネットワークの初期化を目的として、59万枚の画像から成る事前学習データセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 実世界のオープンシーアーファムデータセットは、水中ロボットピッキングシステムの性能と汎化能力を向上させることができるか？
• RQ2 Poisson GANは、小物および不均衡な水中データセットの拡張にどの程度効果的に機能し、検出器の耐障害性を向上させることができるか？
• RQ3 軽量なネットワークは、低照度・曇りの水中環境下でも、48FPSという高い推論速度を維持しながら精度を損なわず実現可能か？
• RQ4 大規模な水中画像コレクション上で事前学習を施すことで、UDDおよびAUDDにおける検出性能はどの程度向上するか？
• RQ5 MFFおよびMBPモジュールは、水中オブジェクト検出におけるパラメータ効率性と検出精度に、どのように寄与するか？

主な発見

• 提案されたUDDデータセットは、実際の養殖環境下で収集された、水中ロボットピッキングを対象とした世界で初めての実世界オープンシーアーファームデータセットである。
• Poisson GANは多様で現実的なオブジェクトの拡張を成功裏に生成し、データセットサイズを18,000枚（AUDD）に拡大し、モデルの耐障害性を向上させた。
• UnderwaterNetはわずか130万パラメータで48FPSの推論速度を達成し、リアルタイムのロボットデプロイメントに適した高い効率性を示した。
• MFFブロックはマルチスケール特徴表現を強化した一方、MBPモジュールは検出精度を損なわずモデルの複雑さを低減した。
• 広範な実験により、UDD、AUDD、Poisson GAN、および事前学習データセットの組み合わせが、すべてのベンチマークで検出性能を顕著に向上させることを確認した。
• 59万枚の画像から成る事前学習データセットは、より良い特徴学習を可能にし、下流の検出タスクにおける汎化性能の向上に寄与した。