[논문 리뷰] Cascaded Zoom-in Detector for High Resolution Aerial Images

Akhil Meethal, Éric Granger외 1명|arXiv (Cornell University)|2023. 03. 15.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 고해상도 항공 영상에서 밀도가 높은 소형 객체 집합 영역(밀도 코너)을 식별하고 처리하기 위해 객체 검출기 자체를 재사용하는 캐스케이드드 줌인(CZ) 검출기를 제안한다. 학습 중에 새로운 '밀도 코너' 클래스를 추가하고 업샘플링된 코너에서 이중 단계 추론을 수행함으로써, 외부 구성 요소를 추가하지 않고도 소형 객체 검출 정확도를 향상시킨다. VisDrone에서 mAP가 3.0 이상 향상되었고, 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Detecting objects in aerial images is challenging because they are typically composed of crowded small objects distributed non-uniformly over high-resolution images. Density cropping is a widely used method to improve this small object detection where the crowded small object regions are extracted and processed in high resolution. However, this is typically accomplished by adding other learnable components, thus complicating the training and inference over a standard detection process. In this paper, we propose an efficient Cascaded Zoom-in (CZ) detector that re-purposes the detector itself for density-guided training and inference. During training, density crops are located, labeled as a new class, and employed to augment the training dataset. During inference, the density crops are first detected along with the base class objects, and then input for a second stage of inference. This approach is easily integrated into any detector, and creates no significant change in the standard detection process, like the uniform cropping approach popular in aerial image detection. Experimental results on the aerial images of the challenging VisDrone and DOTA datasets verify the benefits of the proposed approach. The proposed CZ detector also provides state-of-the-art results over uniform cropping and other density cropping methods on the VisDrone dataset, increasing the detection mAP of small objects by more than 3 points.

연구 동기 및 목표

• 표준 검출기가 스케일링으로 인한 특징 열화로 인해 고해상도 항공 영상에서 소형이고 흩어져 있는 객체를 탐지하기 어려운 문제를 해결하기 위해.
• 밀도 기반 코너 추출 방법에서 추가적인 학습 가능한 구성 요소가 필요로 하는 문제를 제거하여 학습 및 추론의 복잡성을 줄이기 위해.
• 밀도 코너 추출을 균일한 코너 추출만큼 단순하게 만들어 연구 방법과 실용적 구현 간 격차를 메우기 위해.
• 표준 검출 파이프라인을 수정하지 않고도 고해상도 코너 추론을 활용하여 소형 객체 검출의 mAP를 향상시키기 위해.

제안 방법

• 학습 중에 객체 밀도와 공간 클러스터링 기반의 비미분 가능 코너 레이블링 알고리즘을 사용해 자동으로 레이블링된 '밀도 코너' 클래스를 도입한다.
• 학습 중에 검출기는 기본 클래스 객체와 밀도 코너를 모두 탐지하도록 미세조정되며, 후자는 더 높은 해상도로 재스케일링되어 특징 학습을 향상시킨다.
• 추론 중에 검출기는 단일 순방향 추론에서 전체 해상도 영상에서 기본 객체와 밀도 코너를 동시에 탐지한다.
• 탐지된 밀도 코너는 고정된 더 높은 해상도로 업샘플링되어 두 번째 단계 추론에 입력되어 소형 객체 검출을 정밀화한다.
• 최종 검출 결과는 전체 영상 추론과 고해상도 코너 추론 결과를 결합하여 얻으며, 겹치는 박스를 병합하기 위해 20픽셀 임계값을 사용한다.
• 전체 파이프라인은 표준 검출기 아키텍처를 재사용하여 추가 모듈이나 복잡한 학습 단계를 피한다.

실험 결과

연구 질문

• RQ1 추가 외부 학습 가능한 구성 요소 없이 검출기를 밀도 코너 탐지에 재사용할 수 있는가?
• RQ2 업샘플링된 밀도 코너에서의 캐스케이드드 추론이 균일한 코너 추출에 비해 고해상도 항공 영상에서 소형 객체 검출을 향상시키는가?
• RQ3 제안된 방법이 균일한 코너 추출 수준의 단순성과 함께 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 CZ 검출기의 성능은 특히 소형 객체에 대해 크기 범주에 따라 어떻게 달라지는가?

주요 결과

• 제안된 CZ 검출기는 VisDrone 데이터셋에서 기준 모델 대비 소형 객체에 대해 mAP가 3.0 이상 향상되어 29.48에서 33.02로 상승하였다.
• 이 방법은 기존의 외부 모듈(예: ClusterNet, DensityMap 포함)을 사용하는 모든 방법보다 뛰어난 최신 기술 수준의 mAP 33.22를 달성하였다.
• 다음으로 우수한 성능을 보인 방법 대비 소형 객체(APs)의 mAP가 2.5포인트 향상되어 26.06의 APs 점수를 기록하였다.
• FCOS 기반으로 12.69 FPS의 높은 추론 속도를 유지하면서도 정확도를 크게 향상시켜 실용성을 입증하였다.
• 적응형 병합을 통한 이중 단계 추론은 가짜 양성(false positives)을 줄이고, 특히 소형 객체의 정렬 위치 향상에 기여하였다.
• 이 방법은 일반화 능력이 뛰어나, 현대적인 앵커리스 검출기인 FCOS 기반으로도 33.67 mAP를 기록하여 다양한 아키텍처에 대해 강건함을 입증하였다.