[論文レビュー] HazyDet: Open-Source Benchmark for Drone-View Object Detection with Depth-Cues in Hazy Scenes

Changfeng Feng, Zhenyuan Chen+6 more|arXiv (Cornell University)|Sep 30, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

HazyDetは、かすみのあるシーンにおけるドローン視点の物体検出のための最初の大規模でオープンソースのベンチマークを提供し、実際の画像と合成されたかすみのある画像を合わせて383,000インスタンスを含む。DeCoDetは、深度情報を利用することで画像修復を必要とせず、深度に依存する検出器として、マルチスケール深度感知検出ヘッドとダイナミック深度条件カーネルを備えており、深度の手がかりを活用することで顕著なmAPの向上を達成した。

ABSTRACT

Object detection from aerial platforms under adverse atmospheric conditions, particularly haze, is paramount for robust drone autonomy. Yet, this domain remains largely underexplored, primarily hindered by the absence of specialized benchmarks. To bridge this gap, we present extit{HazyDet}, the first, large-scale benchmark specifically designed for drone-view object detection in hazy conditions. Comprising 383,000 real-world instances derived from both naturally hazy captures and synthetically hazed scenes augmented from clear images, HazyDet provides a challenging and realistic testbed for advancing detection algorithms. To address the severe visual degradation induced by haze, we propose the Depth-Conditioned Detector (DeCoDet), a novel architecture that integrates a Depth-Conditioned Kernel to dynamically modulate feature representations based on depth cues. The practical efficacy and robustness of DeCoDet are further enhanced by its training with a Progressive Domain Fine-Tuning (PDFT) strategy to navigate synthetic-to-real domain shifts, and a Scale-Invariant Refurbishment Loss (SIRLoss) to ensure resilient learning from potentially noisy depth annotations. Comprehensive empirical validation on HazyDet substantiates the superiority of our unified DeCoDet framework, which achieves state-of-the-art performance, surpassing the closest competitor by a notable +1.5\% mAP on challenging real-world hazy test scenarios. Our dataset and toolkit are available at https://github.com/GrokCV/HazyDet.

研究の動機と目的

• 悪天候、特にかすみの影響を受けるドローンベースの物体検出のための大規模なベンチマークの不足に対処すること。
• かすみによる画像劣化、スケールの変動、非一様なオブジェクト分布に起因するドローン検出の課題を克服すること。
• 画像修復に依存せずに、深度情報を補助信号として活用することで、かすみのある条件下での検出の耐性を向上させること。
• かすみのある条件下での一般化性能を向上させるために、深度認識を物体検出に統合する柔軟でエンドツーエンドのフレームワークを開発すること。

提案手法

• 実際のかすみのあるシーンと、通常のシーンを合成してかすませた画像からなる、383,000インスタンスのアノテーションが施された大規模なデータセットHazyDetを構築する。
• 複数スケールにわたる深度感知特徴を抽出・統合できるマルチスケール深度感知検出ヘッド（MDDH）を設計する。
• 分類および回帰の予測を学習された深度の手がかりに基づいて条件づけるために、ダイナミック深度条件カーネル（DCK）モジュールを導入する。
• 偽ラベル深度マップから深度手がかりを学習するのを改善するため、スケール不変修復損失を提案する。
• ペアド画像と偽深度ラベルを用いて、深度推定と物体検出を同時に最適化できるように、DeCoDetをエンドツーエンドで学習する。
• FCOS や VFNet などのさまざまな1段階検出器とDeCoDetを統合し、汎化性と適応性を評価する。

実験結果

リサーチクエスチョン

• RQ1 深度の手がかりを補助信号として用いることで、かすみのあるドローン画像における物体検出性能が顕著に向上するか？
• RQ2 深度に依存する検出ヘッドは、かすみやスケールの変動によって引き起こされる性能低下をどれほど効果的に緩和できるか？
• RQ3 スケール不変修復損失は、ノイズの多い偽ラベルからの深度手がかりの学習をどの程度効果的に向上させるか？
• RQ4 DeCoDetは、悪天候条件下で異なる検出器アーキテクチャにどのように一般化するか？
• RQ5 深度マップの品質が検出性能に与える影響は何か？また、モデルの一般化にどのように影響するか？

主な発見

• FCOSに統合した場合、HazyDetテストセットでmAPが1.5ポイント上昇（45.9から47.4）した。
• RDDTSベンチマークでは、FCOS-DeCoDetがmAPを22.8から24.3に向上させ、実世界のかすみのあるデータへの強い汎化性能を示した。
• VFNet-DeCoDetでは、深度手がかり統合におけるアーキテクチャの不適合により、性能向上が著しく減少した。これは、検出器固有の設計制約を示している。
• 高品質な深度マップは顕著な性能向上をもたらしたが、品質の悪い偽深度ラベルは学習を阻害し、検出精度を低下させた。
• 可視化結果から、DeCoDetは特に密集したかすみのあるシーンにおいて、潜在的なターゲット領域への特徴の注目を強化しており、局所化精度が向上していることがわかった。
• 提案されたスケール不変修復損失は、訓練の安定化を図り、偽ラベルからのロバストな深度手がかりの学習能力を向上させた。