[논문 리뷰] HazyDet: Open-Source Benchmark for Drone-View Object Detection with Depth-Cues in Hazy Scenes

Changfeng Feng, Zhenyuan Chen외 6명|arXiv (Cornell University)|2024. 09. 30.

Advanced Neural Network Applications인용 수 4

한 줄 요약

HazyDet는 안개가 낀 환경에서 드론 영상의 객체 검출을 위한 첫 번째 대규모 공개 기준을 제안하며, 실제 및 합성 안개가 낀 383,000개의 인스턴스를 포함한다. DeCoDet는 다중 척도 깊이 인식 검출 헤드와 동적 깊이 조건 커널을 갖춘 깊이 조건 기반 검출기로, 이미지 복원 없이도 깊이 정보를 활용해 상당한 mAP 향상을 달성한다.

ABSTRACT

Object detection from aerial platforms under adverse atmospheric conditions, particularly haze, is paramount for robust drone autonomy. Yet, this domain remains largely underexplored, primarily hindered by the absence of specialized benchmarks. To bridge this gap, we present extit{HazyDet}, the first, large-scale benchmark specifically designed for drone-view object detection in hazy conditions. Comprising 383,000 real-world instances derived from both naturally hazy captures and synthetically hazed scenes augmented from clear images, HazyDet provides a challenging and realistic testbed for advancing detection algorithms. To address the severe visual degradation induced by haze, we propose the Depth-Conditioned Detector (DeCoDet), a novel architecture that integrates a Depth-Conditioned Kernel to dynamically modulate feature representations based on depth cues. The practical efficacy and robustness of DeCoDet are further enhanced by its training with a Progressive Domain Fine-Tuning (PDFT) strategy to navigate synthetic-to-real domain shifts, and a Scale-Invariant Refurbishment Loss (SIRLoss) to ensure resilient learning from potentially noisy depth annotations. Comprehensive empirical validation on HazyDet substantiates the superiority of our unified DeCoDet framework, which achieves state-of-the-art performance, surpassing the closest competitor by a notable +1.5\% mAP on challenging real-world hazy test scenarios. Our dataset and toolkit are available at https://github.com/GrokCV/HazyDet.

연구 동기 및 목표

• 특히 안개로 인한 열악한 기상 조건에서 드론 기반 객체 검출을 위한 대규모 기준의 부족을 해결한다.
• 안개로 인한 이미지 열악성, 척도 변동성, 비균일한 객체 분포로 인한 드론 검출 과제를 극복한다.
• 이미지 복원에 의존하지 않고 깊이 정보를 보조 신호로 활용해 안개 조건에서의 검출 강건성을 향상시킨다.
• 안개가 낀 조건에서도 일반화 능력을 향상시키기 위해 깊이 인식을 객체 검출에 통합한 융통성 있는 종단 간 프레임워크를 개발한다.

제안 방법

• 실제 안개가 낀 장면과 합성 안개가 낀 정상 장면에서 유래한 383,000개의 주석이 부여된 인스턴스를 포함한 대규모 데이터셋인 HazyDet를 구축한다.
• 다중 척도에서 깊이 인식 특징을 추출하고 융합하기 위해 다중 척도 깊이 인식 검출 헤드(MDDH)를 설계한다.
• 분류 및 회귀 예측을 학습된 깊이 신호에 따라 조건화하기 위해 동적 깊이 조건 커널(DCK) 모듈을 도입한다.
• 가짜 레이블 기반 깊이 맵에서 깊이 신호 학습을 향상시키기 위해 척도 불변 복구 손실을 제안한다.
• 이미지 쌍과 가짜 깊이 레이블을 사용해 DeCoDet를 종단 간으로 훈련시켜 깊이 추정과 객체 검출을 공동 최적화한다.
• 다양한 단일 단계 검출기(Fcos, VFNet 등)와 DeCoDet를 통합해 일반화 및 적응 능력을 평가한다.

실험 결과

연구 질문

• RQ1 깊이 신호를 보조 신호로 활용할 경우, 안개가 낀 드론 영상에서 객체 검출 성능이 상당히 향상되는가?
• RQ2 깊이 조건 기반 검출 헤드는 안개와 척도 변동성으로 인한 성능 저하를 얼마나 효과적으로 완화하는가?
• RQ3 척도 불변 복구 손실은 노이즈가 많은 가짜 레이블에서 깊이 신호 학습을 얼마나 향상시키는가?
• RQ4 다양한 검출기 아키텍처 간에 DeCoDet는 열악한 기상 조건에서 어떻게 일반화되는가?
• RQ5 깊이 맵 품질이 검출 성능에 어떤 영향을 미치며, 모델의 일반화 능력에 어떤 영향을 주는가?

주요 결과

• FCOS에 DeCoDet를 통합했을 때 HazyDet 테스트 세트에서 mAP가 1.5점 상승(45.9에서 47.4로)하여 성능 향상을 보였다.
• RDDTS 벤치마크에서 FCOS-DeCoDet는 mAP를 22.8에서 24.3으로 향상시켜 실제 안개가 낀 데이터에 대한 강력한 일반화 능력을 입증했다.
• VFNet-DeCoDet의 경우 깊이 신호 통합에 대한 아키텍처 호환성 문제로 성능 향상이 크게 감소하여 검출기별 설계 제약 조건의 존재를 시사했다.
• 고품질의 깊이 맵은 성능 향상에 상당한 기여를 하였고, 열악한 품질의 가짜 깊이 레이블은 학습을 방해하고 검출 정확도를 떨어뜨렸다.
• 시각화 결과 DeCoDet가 특히 밀도가 높고 안개가 낀 장면에서 잠재적 타깃 영역에 대한 특징 주의를 강화하여 국소화 정밀도를 향상시킴을 확인했다.
• 제안된 척도 불변 복구 손실은 훈련을 안정화시키고, 가짜 레이블에서 강건한 깊이 신호 학습 능력을 향상시킨다.