[논문 리뷰] PENet: Object Detection using Points Estimation in Aerial Images

Ziyang Tang, Xiang Liu외 2명|arXiv (Cornell University)|2020. 01. 22.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 15

한 줄 요약

PENet는 고해상도 항공 영상에서의 소형 객체 탐지 과제를 해결하기 위해 코arse-to-fine 파이프라인을 활용하는 새로운 앵커리스 객체 탐지 프레임워크를 제안한다. CPEN은 밀도 높은 소형 객체를 위한 클러스터 중심을 비최대 제거(NMM)를 사용해 추정하고, FPEN은 계층적 손실을 통해 유사도가 높은 클래스를 다루기 위해 국소화를 정밀하게 개선한다. 이 방법은 visDrone에서 mAP를 8.7% 향상시키고 UAVDT에서 20.3% 향상시켜 최신 기준 성능을 달성한다.

ABSTRACT

Aerial imagery has been increasingly adopted in mission-critical tasks, such as traffic surveillance, smart cities, and disaster assistance. However, identifying objects from aerial images faces the following challenges: 1) objects of interests are often too small and too dense relative to the images; 2) objects of interests are often in different relative sizes; and 3) the number of objects in each category is imbalanced. A novel network structure, Points Estimated Network (PENet), is proposed in this work to answer these challenges. PENet uses a Mask Resampling Module (MRM) to augment the imbalanced datasets, a coarse anchor-free detector (CPEN) to effectively predict the center points of the small object clusters, and a fine anchor-free detector FPEN to locate the precise positions of the small objects. An adaptive merge algorithm Non-maximum Merge (NMM) is implemented in CPEN to address the issue of detecting dense small objects, and a hierarchical loss is defined in FPEN to further improve the classification accuracy. Our extensive experiments on aerial datasets visDrone and UAVDT showed that PENet achieved higher precision results than existing state-of-the-art approaches. Our best model achieved 8.7% improvement on visDrone and 20.3% on UAVDT.

연구 동기 및 목표

• 고해상도 항공 영상에서 소형, 밀도 높은, 클래스 불균형 객체 탐지 과제를 해결한다.
• 자연 영상 데이터셋에서 훈련된 기존 CNN 탐지기의 한계를 극복하기 위해 항공 영상의 특성에 맞게 적응한다.
• 데이터 증강 및 전용 탐지 모듈을 통해 소형 및 희귀 객체 카테고리의 탐지 정확도를 향상시킨다.
• 비슷한 시각적 특성을 가진 클래스(예: 보행자 vs. 사람) 간의 구분이 어려운 카테고리 유사도 문제(CSP)를 완화한다.
• 기존 CNN 기반 탐지기에 쉽게 통합할 수 있는 모듈식이고 확장 가능한 프레임워크를 개발하여 항공 기준 테스트에서 성능을 향상시킨다.

제안 방법

• 불균형 데이터셋을 증강하기 위해 도로 지도와 인스턴스 패치를 사용하여 객체 인스턴스를 합성하는 마스크 재샘플링 모듈(MRM)을 도입한다.
• 밀도 높은 소형 객체를 위한 코arse 앵커리스 탐지기(CPEN)를 활용하여 비최대 제거(NMM)를 사용해 고품질의 클러스터 칩을 생성한다.
• 계층적 손실 함수를 사용해 국소화 정밀도를 향상시키기 위해 정 fine 앵커리스 탐지기(FPEN)를 적용한다.
• FPEN에서 계층적 손실을 활용해 클래스 간 관계를 모델링하고 일반화 능력을 향상시켜 카테고리 유사도 문제(CSP)를 해결한다.
• 원본 고해상도 영상과 클러스터 칩 양쪽에서 FPEN의 예측을 융합하여 소형 및 대형 객체 탐지 성능을 향상시킨다.
• 코어스-투-파인 탐지 파이프라인을 구현한다: CPEN이 먼저 클러스터를 탐지한 후, FPEN이 해당 클러스터 내 객체 위치를 정밀하게 개선한다.

실험 결과

연구 질문

• RQ1 소형, 밀도 높은, 클래스 불균형 객체가 포함된 고해상도 항공 영상에서 객체 탐지 성능을 어떻게 향상시킬 수 있는가?
• RQ2 객체 크기와 시점이 다양할 수 있는 항공 영상에서, 점 기반 탐지 접근 방식이 앵커 기반 방법보다 우월한가?
• RQ3 MRM를 통한 데이터 증강이 희귀하거나 미흡하게 표현된 객체 카테고리의 탐지 성능 향상에 얼마나 기여하는가?
• RQ4 비최대 제거(NMM) 알고리즘이 과도한 분할 없이도 밀도 높은 소형 객체를 효과적으로 클러스터링하는 데 얼마나 유용한가?
• RQ5 카테고리 유사도 문제(CSP)가 존재할 경우, 예를 들어 보행자와 사람처럼 유사한 클래스를 구분하는 데 계층적 손실 함수가 얼마나 효과적인가?

주요 결과

• PENet는 최신 기준 성능에 비해 UAVDT 데이터셋에서 mAP를 20.3% 향상시키고, visDrone에서 8.7% 향상시켰다.
• CPEN 모듈만으로도 기준 모델인 CenterNet 대비 visDrone에서 mAP를 15.1% 향상시키고 UAVDT에서 38.1% 향상시켜 클러스터 기반 탐지의 효과를 입증했다.
• MRM의 추가로 UAVDT에서 최대 4.7% 향상되고 visDrone에서 4.4% 향상되어 희귀 객체 카테고리에 대한 데이터 증강의 가치를 확인했다.
• FPEN의 계층적 손실은 visDrone에서 mAP를 7.4% 향상시켰으며, 자전거나 삼륜차처럼 소형 및 모호한 클래스에서 가장 큰 성과를 보였다.
• 제거 분석 결과, MRM, CPEN, 계층적 손실을 갖춘 FPEN 각 구성 요소가 개별적으로 유의미하게 성능 향상에 기여함을 확인했다.
• 모델은 다양한 데이터셋 간 일반화 성능이 뛰어나며, 계층적 손실은 다수의 항공 데이터셋에서 공동 훈련을 가능하게 하여 정확도와 일반화 능력을 향상시킨다.