[논문 리뷰] Object detection on aerial imagery using CenterNet

Dheeraj Reddy Pailla, Varghese Alex Kollerathu외 1명|arXiv (Cornell University)|2019. 08. 22.

Advanced Neural Network Applications참고 문헌 9인용 수 10

한 줄 요약

이 논문은 다양한 백본과 테스트 시각 증강 기법을 사용하여 VisDrone2019 데이터셋에서 드론 영상의 물체 검출을 위한 CenterNet(핵심점 기반 단단계 물체 검출기)을 평가한다. 이미지 검출에서는 27.83% mAP(7위), 영상 검출에서는 21.58% mAP(5위)를 기록하여, 최소한의 미세조정으로도 소형이고 밀집된 물체를 효과적으로 검출하는 강력한 성능을 입증한다.

ABSTRACT

Detection and classification of objects in aerial imagery have several applications like urban planning, crop surveillance, and traffic surveillance. However, due to the lower resolution of the objects and the effect of noise in aerial images, extracting distinguishing features for the objects is a challenge. We evaluate CenterNet, a state of the art method for real-time 2D object detection, on the VisDrone2019 dataset. We evaluate the performance of the model with different backbone networks in conjunction with varying resolutions during training and testing.

연구 동기 및 목표

• 딥 러닝을 활용하여 드론 영상에서 소형, 저해상도, 고밀도로 군집된 물체를 검출하는 데 도전하는 것.
• 기존의 이단계 및 단단계 검출기들과 비교하여 핵심점 기반 단단계 검출기인 CenterNet의 효과성을 평가하는 것.
• 다양한 백본 네트워크(ResNet-18, DLA-34, Hourglass-104)와 테스트 시각 증강 전략이 검출 성능에 미치는 영향을 조사하는 것.
• 단일 모델을 이미지 데이터로 훈련시킨 후 재학습 없이 영상 물체 검출에 일반화할 수 있는지 평가하는 것.

제안 방법

• CenterNet는 물체를 단일 핵심점 중심으로 간주하고, 중심 히트맵에서 바운딩 박스 크기 및 기타 속성을 회귀한다.
• 모델은 COCO에서 사전 훈련된 Hourglass-104 백본을 사용하여 특징 추출 및 검출 헤드를 수행한다.
• 훈련 시 이미지는 1024×1024로 리사이징되고, 추론 시에는 2048×2048로 조정되며, ImageNet 정규화를 적용한다.
• 테스트 시각 증강에는 수평 뒤집기와 입력 해상도의 0.5, 0.75, 1.0, 1.25, 1.5 배의 다중 해상도 추론가 포함된다.
• 최적화는 초기 학습률 2.5×10⁻⁴로 설정된 ADAM을 사용하며, 90 및 120 에포크에서 학습률을 10배 감소시킨다.
• 평가에는 IOU 임계값을 0.5에서 0.95까지 0.05 간격으로 설정한 평균 정밀도(AP)와 다양한 검출 제한 수준에서의 평균 재현율을 사용한다.

실험 결과

연구 질문

• RQ1 CenterNet는 YOLOv3 및 SSD와 같은 전통적인 단단계 검출기들과 비교해 드론 영상에서 어떤 성능을 보이는가?
• RQ2 ResNet-18, DLA-34, Hourglass-104 중 어떤 백본 네트워크가 VisDrone2019에서 가장 높은 검출 정확도를 달성하는가?
• RQ3 수평 뒤집기 및 다중 해상도 테스트와 같은 테스트 시각 증강 전략이 검출 성능에 얼마나 큰 영향을 미치는가?
• RQ4 이미지 데이터로 훈련된 모델이 재학습 없이 영상 물체 검출에 효과적으로 일반화될 수 있는가?

주요 결과

• Hourglass-104 백본은 다중 해상도 테스트와 수평 뒤집기 적용 시 2048×2048 해상도에서 검증 데이터에서 가장 높은 mAP 58.03%를 기록했다.
• 테스트 시각 증강은 성능 향상에 크게 기여하였으며, 2048×2048 해상도에서 수평 뒤집기 없이 56.88%에서 뒤집기 적용 시 58.03%로 mAP가 상승했다.
• VisDrone2019 트랙 1(이미지 검출)에서 모델은 27.83% mAP를 기록하여 총 20개의 경쟁 방법 중 7위를 차지했다.
• 트랙 2(영상 검출)에서는 동일한 모델이 재학습 없이도 21.58% mAP를 기록하여 랭킹에서 5위를 달성했다.
• 트랙 1에서 모든 방법 중 가장 높은 평균 재현율(46.81%)을 기록하였으며, 특히 1장당 500개 이하의 물체 검출에서 뛰어난 성능을 보였다.
• 클래스별 성능 분석 결과 자동차(이미지 기준 51.92% AP)와 트럭(이미지 기준 31.14% AP)에서 강력한 성능을 보였으며, 버스와 밴에 대해서도 뚜렷한 성능을 기록했다.