[论文解读] A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network

Xiu-Yuan Li, Fengchao Li+2 more|arXiv (Cornell University)|Mar 9, 2022

Underwater Vehicles and Communication Systems被引用 8

一句话总结

本文提出了一种使用联合自监督去模糊网络和改进的空间变换器网络的高精度水下目标检测（UOD）方法。通过利用自监督去模糊提升特征质量，并通过基于视角的空间变换丰富多视角特征，该方法在URPC2017上达到47.9 mAP，在URPC2018上达到70.3 mAP，优于当前最先进方法。

ABSTRACT

Deep learning-based underwater object detection (UOD) remains a major challenge due to the degraded visibility and difficulty to obtain sufficient underwater object images captured from various perspectives for training. To address these issues, this paper presents a high-precision UOD based on joint self-supervised deblurring and improved spatial transformer network. A self-supervised deblurring subnetwork is introduced into the designed multi-task learning aided object detection architecture to force the shared feature extraction module to output clean features for detection subnetwork. Aiming at alleviating the limitation of insufficient photos from different perspectives, an improved spatial transformer network is designed based on perspective transformation, adaptively enriching image features within the network. The experimental results show that the proposed UOD approach achieved 47.9 mAP in URPC2017 and 70.3 mAP in URPC2018, outperforming many state-of-the-art UOD methods and indicating the designed method is more suitable for UOD.

研究动机与目标

• 解决水下目标检测中图像质量退化和多视角训练数据有限的挑战。
• 通过自监督去模糊提升特征质量，提高检测精度。
• 通过基于视角的空间变换器自适应增强特征，缓解训练视角多样性不足的问题。
• 设计一种多任务学习架构，联合优化去模糊与目标检测。

提出的方法

• 将自监督去模糊子网络集成到检测框架中，无需成对的清晰-模糊数据，即可从模糊的水下图像中生成清晰特征。
• 共享特征提取模块同时优化去模糊与目标检测任务，促进学习鲁棒且清晰的特征。
• 设计一种基于视角变换的改进空间变换器网络，通过几何变换自适应增强特征表示。
• 采用多任务学习，检测头与去模糊头共享同一主干网络，并进行端到端训练。
• 空间变换器使用可微空间采样，学习最优特征变换，增强对视角变化的不变性。
• 整体架构使用联合损失函数进行端到端训练，平衡检测与去模糊目标。

实验结果

研究问题

• RQ1 自监督去模糊是否能在无需成对清晰-模糊数据的情况下提升水下目标检测中的特征质量？
• RQ2 在多视角训练数据有限的情况下，基于视角的空间变换器网络在增强特征多样性和鲁棒性方面效果如何？
• RQ3 去模糊与检测的联合优化在多大程度上提升了水下目标检测的整体mAP？
• RQ4 所提出方法在标准水下检测基准上是否比现有最先进方法具有更好的泛化能力？

主要发现

• 所提方法在URPC2017基准上达到47.9 mAP，展现出在具有挑战性的水下检测数据集上的强劲性能。
• 在URPC2018数据集上，该方法达到70.3 mAP，显著优于多种当前最先进水下目标检测方法。
• 自监督去模糊组件在无需真实清晰图像作为监督的情况下有效恢复了图像特征，减少了对成对数据的依赖。
• 改进的空间变换器网络通过自适应建模视角变化，增强了特征表示，提升了检测鲁棒性。
• 多任务学习框架成功平衡了去模糊与检测目标，带来了更优的特征质量和更高的检测精度。
• 消融实验验证了去模糊与空间变换器组件对最终性能提升均有显著贡献。