[논문 리뷰] Clustered Object Detection in Aerial Images

Fan Yang, Heng Fan외 3명|arXiv (Cornell University)|2019. 04. 16.

Advanced Neural Network Applications참고 문헌 37인용 수 14

한 줄 요약

이 논문은 항공 이미지에 대한 효율적이고 정확한 객체 검출을 위해 클러스터 기반 제안, 척도 추정, 전용 검출 네트워크를 통합한 종단 간 클러스터링된 객체 검출 프레임워크인 ClusDet을 제안한다. ClusDet은 먼저 클러스터 제안 네트워크(CPNet)를 통해 객체 클러스터를 식별하고, ScaleNet을 통해 객체 척도를 추정하며, 척도 정규화된 클러스터 칩에서 전용 검출기(DetecNet)를 사용해 정밀 검출을 수행함으로써 효율성과 정확도를 향상시킨다. ClusDet은 전체 이미지를 균일하게 분할하는 대신 클러스터 영역에만 집중함으로써 계산 비용을 크게 줄이며, VisDrone, UAVDT, DOTA에서 최신 기준 성능을 달성한다.

ABSTRACT

Detecting objects in aerial images is challenging for at least two reasons: (1) target objects like pedestrians are very small in pixels, making them hardly distinguished from surrounding background; and (2) targets are in general sparsely and non-uniformly distributed, making the detection very inefficient. In this paper, we address both issues inspired by observing that these targets are often clustered. In particular, we propose a Clustered Detection (ClusDet) network that unifies object clustering and detection in an end-to-end framework. The key components in ClusDet include a cluster proposal sub-network (CPNet), a scale estimation sub-network (ScaleNet), and a dedicated detection network (DetecNet). Given an input image, CPNet produces object cluster regions and ScaleNet estimates object scales for these regions. Then, each scale-normalized cluster region is fed into DetecNet for object detection. ClusDet has several advantages over previous solutions: (1) it greatly reduces the number of chips for final object detection and hence achieves high running time efficiency, (2) the cluster-based scale estimation is more accurate than previously used single-object based ones, hence effectively improves the detection for small objects, and (3) the final DetecNet is dedicated for clustered regions and implicitly models the prior context information so as to boost detection accuracy. The proposed method is tested on three popular aerial image datasets including VisDrone, UAVDT and DOTA. In all experiments, ClusDet achieves promising performance in comparison with state-of-the-art detectors. Code will be available in \url{https://github.com/fyangneil}.

연구 동기 및 목표

• 희박하고 비균일한 객체 분포로 인해 균일한 격자 기반 검출이 비효율적인 항공 이미지 문제를 해결한다.
• 클러스터 기반 척도 추정을 활용하여 항공 이미지에서의 소형 객체 검출 과제를 극복한다.
• 전체 이미지를 균일하게 분할하는 대신 객체 클러스터 영역에만 집중함으로써 계산 비용을 감소시킨다.
• 클러스터 영역에서 훈련된 전용 검출기를 통해 맥락적 사전 지식을 모델링함으로써 검출 정확도를 향상시킨다.
• 종단 간 딥 러닝 프레임워크 내에서 객체 클러스터링과 검출을 통합하여 효율성과 성능을 동시에 향상시킨다.

제안 방법

• 입력 항공 이미지에서 객체 클러스터 영역을 예측하기 위해 클러스터 제안 하위 네트워크(CPNet)를 활용한다.
• 각 클러스터 영역 내에서 적절한 객체 척도를 추정하기 위해 척도 추정 하위 네트워크(ScaleNet)를 활용한다.
• 큰 클러스터를 처리하기 위해 파artition-and-pad(PP) 전략을 적용하여 클러스터를 더 작은 칩으로 분할함으로써 객체 잘림을 방지한다.
• 척도 정규화된 클러스터 칩에서만 훈련된 전용 검출 네트워크(DetecNet)를 사용하여 검출 정확도를 향상시킨다.
• 전체 이미지와 클러스터 칩에서의 검출 결과를 융합하여 최종 예측을 생성한다.
• 중복된 클러스터의 과도한 처리를 방지하고 계산의 부담을 줄이기 위해 반복적 클러스터 융합(ICM)을 통합한다.

실험 결과

연구 질문

• RQ1 클러스터 기반 영역 제안이 항공 객체 검출에서 처리해야 할 이미지 칩 수를 줄여 계산 효율성을 향상시킬 수 있는가?
• RQ2 균일한 리사이징 또는 단일 객체 척도 추정 대비 클러스터 기반 척도 추정이 소형 객체 검출 성능을 향상시키는가?
• RQ3 클러스터 영역에 특화된 검출기가 맥락적 사전 지식을 암묵적으로 모델링하여 검출 정확도를 향상시키는가?
• RQ4 다양한 항공 데이터셋에서 최신 기준 검출기와 비교할 때 제안된 ClusDet 프레임워크는 정확도와 추론 속도 측면에서 어떤가?
• RQ5 CPNet, ScaleNet, DetecNet의 통합이 극도로 불균형하고 희박한 객체 분포를 가진 데이터셋에서 검출 성능을 얼마나 향상시키는가?

주요 결과

• VisDrone 데이터셋에서 ClusDet은 모든 백본 네트워크에서 Faster R-CNN과 RetinaNet을 모두 초월하며, ResNet50 기반으로 27.0의 AP를 기록하고 ResNeXt101 기반으로는 30.5의 AP를 달성한다.
• UAVDT에서 ClusDet은 FRCNN+FPN와 FRCNN+FPN+EIP를 모두 초월하여 18.5의 AP를 기록했으며(비교 기준 11.0), EIP 대비 클러스터 기반 크롭핑의 우수성을 입증한다.
• DOTA에서 ClusDet은 최신 기준 방법들과 비교해 유사하거나 더 높은 AP75(0.42) 성능을 기록했으며, 처리하는 이미지 칩 수는 15%에 불과하여 계산 비용을 크게 감소시켰다.
• ScaleNet의 통합으로 모든 백본에서 AP50가 2–3점 향상되었고, ResNeXt101 기반으로는 APs가 1.6점 상승하여 소형 객체 처리에 효과적임을 입증했다.
• TopN 하이퍼파라미터 분석 결과, TopN=4를 초과하면 성능은 정체되나 계산량은 증가함을 확인하여 클러스터 융합이 중복을 줄이는 데 중요한 역할을 함을 확인했다.
• PP 모듈은 처리하는 칩 수를 2,716으로 늘렸지만 ResNet50 기반으로 AP를 26.7로 향상시켜 큰 클러스터를 분할함으로써 소형 객체 검출 성능 향상이 가능함을 시사한다.