[論文レビュー] Reveal of Domain Effect: How Visual Restoration Contributes to Object Detection in Aquatic Scenes

Xingyu Chen, Yue Lu+3 more|arXiv (Cornell University)|Mar 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 27

ひとこと要約

本稿は、フィルタリングベース（FRS）およびGANベース（GAN-RS）の復元を用いて得られる品質多様なデータドメインを分析することで、水中シーンにおける視覚的復元が物体検出に与える影響を調査している。復元はドメイン内検出精度を向上させないが、訓練データと現実世界のシーン間のドメインシフトを顕著に低減するため、水中環境におけるロバストなオンラインロボット認識にとって不可欠であることが明らかになった。

ABSTRACT

Underwater robotic perception usually requires visual restoration and object detection, both of which have been studied for many years. Meanwhile, data domain has a huge impact on modern data-driven leaning process. However, exactly indicating domain effect, the relation between restoration and detection remains unclear. In this paper, we generally investigate the relation of quality-diverse data domain to detection performance. In the meantime, we unveil how visual restoration contributes to object detection in real-world underwater scenes. According to our analysis, five key discoveries are reported: 1) Domain quality has an ignorable effect on within-domain convolutional representation and detection accuracy; 2) low-quality domain leads to higher generalization ability in cross-domain detection; 3) low-quality domain can hardly be well learned in a domain-mixed learning process; 4) degrading recall efficiency, restoration cannot improve within-domain detection accuracy; 5) visual restoration is beneficial to detection in the wild by reducing the domain shift between training data and real-world scenes. Finally, as an illustrative example, we successfully perform underwater object detection with an aquatic robot.

研究の動機と目的

• データドメインの品質（特に低品質対高品質な水中画像）が物体検出性能に与える影響を理解すること。
• FRSおよびGAN-RSを用いた視覚的復元が、現実世界の水中ロボット認識における物体検出の向上に果たす役割を調査すること。
• ドメインシフトとモデルの汎化能力に注目して、ドメイン内およびクロスドメイン検出の両状況におけるドメイン効果を分析すること。
• 水中ロボットを用いた実世界の水中物体検出において、復元の有効性を評価すること。
• 品質多様なデータドメイン下でのCNNベースの検出器におけるドメイン選択性およびリコール効率の背後メカニズムを解明すること。

提案手法

• URPC2018データセットを用い、FRS（フィルタリングベース）およびGAN-RS（生成対抗ネットワークベース）の復元を用いて品質多様なデータドメインを構築した。
• 複数のドメイン（オリジナル（O）、FRS処理済み（F）、GAN-RS処理済み（G））に対して、単段階物体検出器（SSD、RetinaNet、RefineDet、DRN）を訓練および評価した。
• データ品質レベルごとの性能差を分析するために、ドメイン内およびクロスドメイン検出評価を実施した。
• 大連・真三潭の自然な海底環境で水中ロボットを用いた実世界のオンライン物体検出実験を実施した。
• 訓練ドメインと実世界のテストシーン間の色空間分布（Lab空間）の比較を通じてドメインシフトを分析した。
• 検出バックボーンとしてDRN512-VGG16を用い、O、F、Gドメインで訓練されたモデルと、オンラインに適用された対応する復元パイプラインを比較した。

実験結果

リサーチクエスチョン

• RQ1 データドメインの品質（低品質対高品質）が水中シーンにおけるドメイン内物体検出精度および特徴表現に与える影響は何か？
• RQ2 視覚的復元が水中物体検出におけるクロスドメイン汎化性能に与える影響は何か？
• RQ3 単一の学習プロセスにおいて高品質ドメインと低品質ドメインを混合した場合、低品質ドメインは効果的に学習可能か？
• RQ4 画像品質の向上にもかかわらず、視覚的復元がなぜドメイン内検出精度を向上させないのか？
• RQ5 視覚的復元は、訓練データと実世界の水中シーン間のドメインシフトをどの程度低減するのか？

主な発見

• 十分な訓練が行われた後、ドメイン品質はドメイン内畳み込み表現および検出精度にほとんど影響しないことが示された。これは、高品質な画像が同じドメイン内でのモデル性能を本質的に向上させないことを示している。
• 低品質ドメインはクロスドメイン検出において高い汎化能力を示しており、劣化したデータで訓練されたモデルが未観測の現実世界のシーンに適応しやすいことを示唆している。
• 単一の学習プロセスにおいて高品質ドメインと低品質ドメインを混合すると、低品質ドメインはうまく学習されない。これは、CNNベースの検出器に強いドメイン選択性があることを示している。
• 視覚的復元はドメイン内検出精度の向上には無意味な作業である。画像品質の向上にもかかわらず、リコール効率が低下し、誤検出が増加するためである。
• 視覚的復元は実世界の水中物体検出にとって不可欠である。GAN-RS処理済みオンラインデータとGドメインとのLab色空間における高い重複度が示すように、訓練データと実世界のシーン間のドメインシフトを効果的に低減する。
• 実世界のロボット実験において、GAN-RS処理済みデータで訓練されたモデル（DRN512-VGG16-G）は、オリジナルまたはFRS処理済みデータで訓練されたモデルよりも顕著に高いリコールと精度を達成した。これは、ドメインシフトを低減するための復元の実用的利点を確認するものである。