[論文レビュー] WQT and DG-YOLO: towards domain generalization in underwater object detection

Hong Liu, Pinhao Song+1 more|arXiv (Cornell University)|Apr 14, 2020

Advanced Neural Network Applications参考文献 21被引用数 13

ひとこと要約

本稿では、$WCT^{2}$ を用いて多様な水中水質スタイルを合成するデータ拡張手法 WQT と、ドメイン不変モジュール (DIM) と不変リスク最小化 (IRM) ペナルティを組み合わせた YOLOv3 に基づくドメイン一般化物体検出器 DG-YOLO を提案する。本手法は、未学習の水質ドメインにおいてベースライン手法と比較して mAP を 3.21% 向上させ、最先端のドメイン一般化性能を達成した。

ABSTRACT

A General Underwater Object Detector (GUOD) should perform well on most of underwater circumstances. However, with limited underwater dataset, conventional object detection methods suffer from domain shift severely. This paper aims to build a GUOD with small underwater dataset with limited types of water quality. First, we propose a data augmentation method Water Quality Transfer (WQT) to increase domain diversity of the original small dataset. Second, for mining the semantic information from data generated by WQT, DG-YOLO is proposed, which consists of three parts: YOLOv3, DIM and IRM penalty. Finally, experiments on original and synthetic URPC2019 dataset prove that WQT+DG-YOLO achieves promising performance of domain generalization in underwater object detection.

研究の動機と目的

• 限られた非多様な訓練データによる水中物体検出におけるドメインシフトの課題に対処すること。
• データ拡張と不変表現学習を用いて、多様な水中水質にわたるモデルの一般化性能を向上させること。
• 未学習の水中環境でも効果的なリアルタイムで汎用性のある水中物体検出器 (GUOD) を開発すること。
• WQT と DG-YOLO の有効性を、実データおよび合成データの両方の水中データセット上で検証すること。
• モデルが偶然的相関ではなく、意味的でドメイン不変の特徴を学習できるかを分析すること。

提案手法

• WQT は、URPC2019 データセットのコンテンツ画像を $WCT^{2}$ を用いて 7 種類の合成水質スタイルに変換し、ドメインの多様性を向上させる。
• 本手法は 8 種類のドメイン固有データセット (type1–type8) を生成し、type8 はドメイン一般化の評価にのみ使用される。
• DG-YOLO は YOLOv3 にドメイン不変モジュール (DIM) を統合し、水質ドメイン間で不変な特徴の学習を促進する。
• IRM ペナルティを適用して、すべてのソースドメインにわたる不変予測子の学習を促進することで、ドメイン間のリスクを最小化する。
• モデルは組み合わせ損失で訓練される：$L_{yolo} = L_{cls} + \lambda_{coord}L_{coord} + L_{obj} + \lambda_{noobj}L_{noobj} + \alpha L_d + \beta P_{IRM}$、ここで $L_d$ はドメイン分類損失、$P_{IRM}$ は IRM ペナルティである。
• SmoothGrad 視覚化を用いてモデルの注目領域を解釈し、DG-YOLO が偶然的相関ではなく意味的関連特徴を学習していることを検証した。

実験結果

リサーチクエスチョン

• RQ1 水質スタイル変換によるデータ拡張 (WQT) は、小さな水中データセットにおけるドメイン多様性を効果的に向上させることができるか？
• RQ2 ドメイン不変モジュール (DIM) と不変リスク最小化 (IRM) ペナルティを組み合わせることで、水中物体検出におけるドメイン一般化性能が向上するか？
• RQ3 DG-YOLO は未学習の水質ドメイン (val_type8) において、ベースラインモデルをどの程度上回るか？
• RQ4 DG-YOLO の注目マップは、ベースラインモデルや WQT 僅かのモデルと比較して、意味的物体にどのように集中しているか？
• RQ5 WQT と DG-YOLO による性能向上は、ドメイン不変特徴の学習によるものか、それとも偶然的相関によるものか？

主な発見

• WQT+DG-YOLO は未学習の val_type8 ドメインで 33.77% の mAP を達成し、WQT 僅かの 30.55% と比較して 3.21% 向上した。
• アブレーションスタディの結果、DIM と IRM ペナルティの併用（DG-YOLO）でのみ顕著な性能向上が得られ、個別に使用した場合では性能低下または僅かな向上にとどまった。
• SmoothGrad 視覚化により、DG-YOLO が実際に物体（例：エキヌス）に注目しているのに対し、ベースラインおよび WQT 僅かのモデルは関係のない領域や分散した注目領域に注目しており、偶然的相関に依存していることが示された。
• 改善は見られたが、DG-YOLO はまだ見られなかったドメイン（val_type8）では、学習済みドメインと比較して性能が劣っているため、極端なドメインシフトに対するドメイン一般化は依然として困難であることが示された。
• スタイル距離行列から、type1–type7 はスタイル空間に一様に分布しておらず、type8 は顕著に異なることが分かった。これは一般化の困難さを説明している。
• WQT 僅かは学習済みドメイン（例：ori で 58.56% mAP）では高い性能を発揮するが、これはドメイン固有の偶然的相関によるものであり、一般化性能ではない。