[論文レビュー] RoIMix: Proposal-Fusion among Multiple Images for Underwater Object Detection

Weihong Lin, Jia-Xing Zhong+3 more|arXiv (Cornell University)|Nov 8, 2019

Advanced Neural Network Applications参考文献 28被引用数 16

ひとこと要約

RoIMix は、複数の水中画像からの領域提案を融合することで、重複・隠蔽・ぼかしを模擬する画素レベルのデータ拡張手法を提案する。これにより、物体検出性能が顕著に向上し、URPC で 1.18% の mAP 向上、Pascal VOC で 0.8% の向上を達成。ノイズやぼかしに対する安定性と耐性も向上する。

ABSTRACT

Generic object detection algorithms have proven their excellent performance in recent years. However, object detection on underwater datasets is still less explored. In contrast to generic datasets, underwater images usually have color shift and low contrast; sediment would cause blurring in underwater images. In addition, underwater creatures often appear closely to each other on images due to their living habits. To address these issues, our work investigates augmentation policies to simulate overlapping, occluded and blurred objects, and we construct a model capable of achieving better generalization. We propose an augmentation method called RoIMix, which characterizes interactions among images. Proposals extracted from different images are mixed together. Previous data augmentation methods operate on a single image while we apply RoIMix to multiple images to create enhanced samples as training data. Experiments show that our proposed method improves the performance of region-based object detectors on both Pascal VOC and URPC datasets.

研究の動機と目的

• 視界不良や堆積物による重複・隠蔽・ぼかしをきたす水中物体の検出の課題に対処する。
• 標準的なデータ拡張手法が失敗する複雑な水中環境において、領域ベースの物体検出器の一般化性能を向上させる。
• 単一画像のデータ拡張の限界を克服し、画像間の提案レベルの融合を導入する。
• 訓練および推論時にノイズや劣化した水中画像に対して、モデルの安定性と耐性を向上させる手法を開発する。

提案手法

• 画像レベルの混合ではなく、複数の画像間で提案レベルの混合を実行するデータ拡張手法 RoIMix を提案する。
• 複数の水中画像から領域提案を抽出し、学習可能な混合係数 α に基づいて混合することで、空間的およびクラスレベルの整合性を保持する。
• 混合操作を提案レベルで実行することで、融合された提案が正確なバウンディングボックスおよびクラス情報を持つことを保証し、画像レベルの混合で一般的に生じるずれを回避する。
• 異なる画像からの提案を重み付きで組み合わせることで、水中シーンに一般的な現実的な隠蔽やぼかしシナリオを模擬する。
• Faster R-CNN 及びその変種の訓練パイプラインに RoIMix を統合し、拡張されたサンプルを用いたエンドツーエンド訓練を可能にする。
• 仮想リスク最小化の原則を活用し、実世界の水中環境にうまく一般化できる多様で現実的な訓練サンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 複数の画像間で提案レベルの融合を実行することで、重複・隠蔽・ぼかしをきたす水中物体の検出性能が向上するか？
• RQ2 従来の単一画像データ拡張と比較して、画像間の提案混合は水中データセットにおけるモデルの一般化性能にどのように影響するか？
• RQ3 RoIMix は水中物体検出における訓練の安定性とノイズ・ぼかしに対する耐性を向上させるか？
• RQ4 RoIMix は汎用的（Pascal VOC）およびドメイン特化型（URPC）の物体検出ベンチマークの両方で、どの程度性能を向上させるか？

主な発見

• RoIMix は URPC データセットで 1.18% の mAP 向上を達成し、ベースラインおよび既存の拡張手法を顕著に上回る。
• Pascal VOC データセットでは mAP が 0.8% 向上し、汎用的物体検出ベンチマークでも有効であることが示された。
• 過学習が軽減され、訓練中の mAP 曲線がより安定しており、URPC ではベースライン比最大で 2.04% の差を示した。
• 人工ノイズに対して耐性が向上し、5 種類のノイズタイプすべてでベースライン比最大 9.05% の mAP 差を示した。
• ぼかしの適用されたテストサンプルでも性能が向上し、ガウスぼかしが適用された際にはベースライン比 0.7% の mAP 向上を達成した。
• RoIMix は URPC 2019 オフラインターゲット認識コンテストで優勝を獲得し、実世界での有効性が裏付けられた。