[論文レビュー] SWIPENET: Object detection in noisy underwater images

Long Chen, Feixiang Zhou+6 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Neural Network Applications参考文献 36被引用数 14

ひとこと要約

本稿では、ノイズの多い水中画像における小形物体検出を向上させるために、マルチスケールのハイパーフィーチャーマップを備えた深層学習アーキテクチャ「SWIPENET」と、段階的に容易なサンプルから難しいサンプルへと学習を進める新しいカリキュラムマルチクラスAdaboost（CMA）トレーニングパラダイムを提案する。このフレームワークは、4つの水中データセットにおいて最先端のmAP性能を達成し、精度とノイズ耐性の両面で既存手法を上回っている。

ABSTRACT

In recent years, deep learning based object detection methods have achieved promising performance in controlled environments. However, these methods lack sufficient capabilities to handle underwater object detection due to these challenges: (1) images in the underwater datasets and real applications are blurry whilst accompanying severe noise that confuses the detectors and (2) objects in real applications are usually small. In this paper, we propose a novel Sample-WeIghted hyPEr Network (SWIPENET), and a robust training paradigm named Curriculum Multi-Class Adaboost (CMA), to address these two problems at the same time. Firstly, the backbone of SWIPENET produces multiple high resolution and semantic-rich Hyper Feature Maps, which significantly improve small object detection. Secondly, a novel sample-weighted detection loss function is designed for SWIPENET, which focuses on learning high weight samples and ignore learning low weight samples. Moreover, inspired by the human education process that drives the learning from easy to hard concepts, we here propose the CMA training paradigm that first trains a clean detector which is free from the influence of noisy data. Then, based on the clean detector, multiple detectors focusing on learning diverse noisy data are trained and incorporated into a unified deep ensemble of strong noise immunity. Experiments on two underwater robot picking contest datasets (URPC2017 and URPC2018) show that the proposed SWIPENET+CMA framework achieves better accuracy in object detection against several state-of-the-art approaches.

研究の動機と目的

• 水中環境における小形物体検出と深刻な画像ノイズという二重の課題に取り組む。
• 低視認性、コントラストの低さ、色の歪みが生じる現実世界の水中撮影条件において、深層学習検出器の汎化性能と耐性を向上させる。
• 容易なサンプルから難しいサンプルへと段階的に学習を進めるトレーニングパラダイムを構築し、ノイズの多いデータがモデルの収束と性能に与える悪影響を軽減する。
• 深層検出器のための選択的アンサンブル戦略を通じて、検出精度と計算効率のバランスを図る。

提案手法

• SWIPENETは、小形物体の検出を強化するため、複数の高解像度で意味論的に豊かなハイパーフィーチャーマップを生成するバックボーンネットワークを採用する。
• サンプル重み付きの検出損失関数が導入され、トレーニング中に情報量の多い（高重みの）サンプルの学習を優先し、ノイズや低品質なサンプルの影響を抑制する。
• カリキュラムマルチクラスAdaboost（CMA）トレーニングパラダイムは2段階から構成される：ノイズ除去フェーズでは容易なサンプル上でクリーンな検出器を学習し、ノイズ学習フェーズでは、クリーンモデルからの知識蒸留を用いて多様なノイズを含むサンプル上で複数の検出器を学習する。
• ノイズ学習フェーズの検出器は、クリーン検出器のパラメータで初期化され、局所的最適解への陥落を回避し、収束を加速する。
• 選択的アンサンブルアルゴリズムが適用され、多様で高性能な検出器のサブセットが選択され、推論速度と検出精度のバランスが取られる。
• フレームワークは、人間の教育を模したサンプル再重み付けとカリキュラム学習の原則を統合し、ノイズが多く複雑な水中シーンにおけるモデルの汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールのハイパーフィーチャーマップを備えた深層ニューラルネットワークアーキテクチャは、小形水中物体の検出性能を顕著に向上させることができるか？
• RQ2 サンプル重み付き損失関数は、水中物体検出におけるノイズの多いトレーニングサンプルに対するモデルの耐性をどのように向上させるか？
• RQ3 容易なサンプルから難しいサンプルへと段階的に学習を進めるカリキュラムベースのトレーニング戦略は、ノイズの多い水中データセットにおいて収束性と汎化性能を向上させるか？
• RQ4 CMAを用いてトレーニングされた検出器のアンサンブルは、実世界の水中データセットにおいて、単一モデルの検出器を上回る精度とノイズ耐性を達成できるか？

主な発見

• URPC2017では、SWIPENET+CMAは8回のトレーニングイテレーション後にmAP 52.5%を達成し、SWIPENET+MA（39.8%）およびSWIPENET+Curriculum（第3イテレーションで43.9%）を顕著に上回った。
• URPC2018では、SWIPENET+CMAのmAPは8回目のイテレーションで68.0%に達したが、SWIPENET+MAとSWIPENET+Curriculumはそれぞれ59.3%および63.8%に低下し、優れた安定性と性能を示した。
• URPC2019では、小形物体が主な課題であるが、ノイズの少ないデータでもSWIPENET+CMAは63.9%のmAPを達成し、SWIPENET+MA（56.3%）およびSWIPENET+Curriculum（60.8%）を上回った。
• ChinaMMデータセットでは、SWIPENET+CMAは8回のイテレーション後にmAP 85.5%に達し、多様な水中シーンと物体スケールにわたる強力な汎化性能を示した。
• CMAトレーニングパラダイムは、すべてのデータセットでマルチクラスAdaboost（MA）およびカリキュラム学習（Curriculum）を上回り、ノイズデータの処理とモデル耐性の向上における有効性を実証した。
• 選択的アンサンブル戦略は、検出精度と推論速度のバランスを効果的にとらせており、リアルタイムのAUVおよびROVアプリケーションへの実用性を示している。