[论文解读] HazyDet: Open-Source Benchmark for Drone-View Object Detection with Depth-Cues in Hazy Scenes

Changfeng Feng, Zhenyuan Chen+6 more|arXiv (Cornell University)|Sep 30, 2024

Advanced Neural Network Applications被引用 4

一句话总结

HazyDet 首次提出了针对雾霾场景下无人机视角目标检测的大规模开源基准，包含383,000个真实与合成雾霾下的实例。该工作提出DeCoDet，一种基于深度条件的检测器，配备多尺度深度感知检测头与动态深度条件卷积核，在无需显式图像复原的情况下，通过利用深度线索显著提升了mAP性能。

ABSTRACT

Object detection from aerial platforms under adverse atmospheric conditions, particularly haze, is paramount for robust drone autonomy. Yet, this domain remains largely underexplored, primarily hindered by the absence of specialized benchmarks. To bridge this gap, we present extit{HazyDet}, the first, large-scale benchmark specifically designed for drone-view object detection in hazy conditions. Comprising 383,000 real-world instances derived from both naturally hazy captures and synthetically hazed scenes augmented from clear images, HazyDet provides a challenging and realistic testbed for advancing detection algorithms. To address the severe visual degradation induced by haze, we propose the Depth-Conditioned Detector (DeCoDet), a novel architecture that integrates a Depth-Conditioned Kernel to dynamically modulate feature representations based on depth cues. The practical efficacy and robustness of DeCoDet are further enhanced by its training with a Progressive Domain Fine-Tuning (PDFT) strategy to navigate synthetic-to-real domain shifts, and a Scale-Invariant Refurbishment Loss (SIRLoss) to ensure resilient learning from potentially noisy depth annotations. Comprehensive empirical validation on HazyDet substantiates the superiority of our unified DeCoDet framework, which achieves state-of-the-art performance, surpassing the closest competitor by a notable +1.5\% mAP on challenging real-world hazy test scenarios. Our dataset and toolkit are available at https://github.com/GrokCV/HazyDet.

研究动机与目标

• 解决无人机在恶劣天气（尤其是雾霾）下目标检测缺乏大规模基准的问题。
• 应对由尺度变化、目标分布不均以及雾霾导致的图像退化所引发的无人机检测挑战。
• 将深度信息作为辅助信号，提升雾霾条件下检测的鲁棒性，而无需依赖图像复原。
• 构建一个灵活的端到端框架，将深度感知融入目标检测，以提升在雾天条件下的泛化能力。

提出的方法

• 构建HazyDet，一个大规模数据集，包含来自真实雾霾场景和合成雾霾化普通场景的383,000个标注实例。
• 设计多尺度深度感知检测头（MDDH），以在多尺度上提取并融合深度感知特征。
• 引入动态深度条件卷积核（DCK）模块，使检测头的预测基于学习到的深度线索进行分类与回归。
• 提出尺度不变修复损失（Scale Invariant Refurbishment Loss），以改善从伪标签深度图中学习深度线索的效果。
• 使用配对图像与伪深度标签端到端训练DeCoDet，实现深度估计与目标检测的联合优化。
• 将DeCoDet与多种单阶段检测器（如FCOS、VFNet）集成，以评估其泛化性与适应性。

实验结果

研究问题

• RQ1 当作为辅助信号使用时，深度线索是否能显著提升雾霾无人机图像中的目标检测性能？
• RQ2 深度条件检测头在缓解雾霾与尺度变化导致的性能下降方面效果如何？
• RQ3 尺度不变修复损失在从噪声伪标签中学习深度线索方面的提升程度如何？
• RQ4 DeCoDet在不同检测器架构下于恶劣天气条件下的泛化能力如何？
• RQ5 深度图质量对检测性能有何影响，以及其如何影响模型的泛化能力？

主要发现

• 当与FCOS集成时，DeCoDet在HazyDet测试集上的mAP从45.9提升至47.4，提升1.5个百分点。
• 在RDDTS基准上，FCOS-DeCoDet的mAP从22.8提升至24.3，表明其在真实雾霾数据上具有强大的泛化能力。
• 由于与深度线索集成存在架构不兼容性，VFNet-DeCoDet的性能增益显著降低，表明检测器特定的设计约束。
• 高质量深度图带来显著的性能提升，而低质量伪深度标签则损害学习过程并降低检测精度。
• 可视化结果表明，DeCoDet增强了对潜在目标区域的特征关注，尤其在密集且雾霾严重的场景中，提升了定位精度。
• 所提出的尺度不变修复损失有效稳定了训练过程，并增强了网络从伪标签中学习鲁棒深度线索的能力。