[논문 리뷰] Rethinking Drone-Based Search and Rescue with Aerial Person Detection

Pasi Pyrrö, Hassan Naseri외 1명|arXiv (Cornell University)|2021. 11. 17.

Advanced Neural Network Applications참고 문헌 41인용 수 4

한 줄 요약

이 논문은 드론 기반 탐색 및 구조(SAR) 임무에서 공중에서의 인명 탐지를 자동화하는 딥러닝 모델인 Aerial Inspection RetinaNet(AIR)을 제안한다. 새로운 후처리 방법인 겹치는 경계 박스 병합(Merging of Overlapping Bounding boxes, MOB)과 SAR 전용 평가 체계를 통합함으로써, HERIDAL 벤치마크에서 정밀도(94.9%)가 21%p 향상되고 재현율은 92.9%를 기록하여 인간 검사자와 최신 기술 수준의 방법을 크게 능가한다.

ABSTRACT

The visual inspection of aerial drone footage is an integral part of land search and rescue (SAR) operations today. Since this inspection is a slow, tedious and error-prone job for humans, we propose a novel deep learning algorithm to automate this aerial person detection (APD) task. We experiment with model architecture selection, online data augmentation, transfer learning, image tiling and several other techniques to improve the test performance of our method. We present the novel Aerial Inspection RetinaNet (AIR) algorithm as the combination of these contributions. The AIR detector demonstrates state-of-the-art performance on a commonly used SAR test data set in terms of both precision (~21 percentage point increase) and speed. In addition, we provide a new formal definition for the APD problem in SAR missions. That is, we propose a novel evaluation scheme that ranks detectors in terms of real-world SAR localization requirements. Finally, we propose a novel postprocessing method for robust, approximate object localization: the merging of overlapping bounding boxes (MOB) algorithm. This final processing stage used in the AIR detector significantly improves its performance and usability in the face of real-world aerial SAR missions.

연구 동기 및 목표

• 지상 탐색 및 구조(SAR) 작업에서 느리고 실수를 범하기 쉬운 공중 드론 영상의 수동 점검을 자동화하기 위해.
• 밀도 높은 물체 그룹이 있는 고해상도 공중 영상에서 작은, 저대비도의 사람을 탐지하는 과제를 해결하기 위해.
• 정확한 위치 특정보다 탐지 자체를 우선시하는 실세계 SAR 현장 요구사항을 반영하기 위해 공중 인명 탐지의 평가 지표를 재정의하기 위해.
• SAR 영상에서 흔한 밀도 높은 사람 그룹 상황에서 탐지 신뢰도를 향상시키는 견고한 후처리 방법을 개발하기 위해.
• 실시간 배포가 가능한 실용성과 함께 정밀도 및 속도에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• AIR 검출기는 공중 영상에서 배경-전경 클래스 불균형 문제를 최적화하기 위해 설계된 단계식 객체 검출기인 RetinaNet 기반이다.
• 모델은 다중 척도 특징 추출을 위해 ResNeXt-101 백본과 특징 피라미드 네트워크(FPN)를 사용하며, 이는 소형 객체 탐지에 기여한다.
• 온라인 데이터 증강, 전이 학습, 신뢰도 점수 임계값 캘리브레이션을 적용하여 일반화 능력과 테스트 성능을 향상시킨다.
• 겹치는 경계 박스 병합(Merging of Overlapping Bounding boxes, MOB) 알고리즘은 탐지 출력을 군집화하고 겹치는 박자를 병합하여, 밀도 높은 그룹에서의 거짓 음성 수를 줄인다.
• 실세계 SAR 요구사항을 반영하기 위해 유사도 임계값을 완화한 새로운 SAR-APD 평가 체계를 도입하여 탐지 정확도를 우선시한다.
• VOC2012 및 SAR-APD 평가 프로토콜을 모두 사용하여 HERIDAL 벤치마크에서 성능을 비교 검증함으로써 다양한 기준 하에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝을 어떻게 활용하여 드론 기반 SAR 임무에서 공중 인명 탐지를 자동화하고 수동 영상 점검 의존도를 줄일 수 있는가?
• RQ2 어떤 모델 아키텍처와 훈련 전략이 고해상도 공중 영상에서 작은, 저대비도의 사람을 탐지하는 데 최고의 성능을 낼 수 있는가?
• RQ3 제안된 MOB 후처리 방법은 기존 NMS와 비교해 밀도 높은 사람 그룹 상황에서 탐지 신뢰도를 어떻게 향상시키는가?
• RQ4 기존의 VOC2012와 비교해 새로운 SAR-APD 평가 체계는 실세계 운영 요구사항을 얼마나 더 잘 반영하는가?
• RQ5 AIR 검출기는 HERIDAL 벤치마크에서 인간 검사자와 기존 최신 기술 수준의 모델보다 정밀도, 재현율, 추론 속도에서 모두 승리할 수 있는가?

주요 결과

• 제안된 SAR-APD 평가 체계 하에서 AIR 검출기는 HERIDAL 테스트 세트에서 94.9% 정밀도와 92.9% 재현율을 기록하여 이전 방법 대비 정밀도가 21%p 향상되었다.
• MOB 후처리 방법은 과도한 신뢰도 임계값 설정이 필요로 하는 것을 줄여주어 정밀도를 유지하면서도 더 높은 재현율을 달성하는 데 기여한다.
• SAR-APD 평가 체계 하에서 AIR는 평균 정밀도(AP) 91.7%를 기록하여 가장 강력한 베이스라인인 Multimodel CNN보다 정확도가 뛰어나며, 속도는 10배 빠르고 엔드 투 엔드 학습이 가능하다.
• 인간 검사자는 평균 59% 정밀도와 68% 재현율, 1장당 평균 33초의 점검 시간을 기록하는 데 반해, AIR는 1초 이내로 이미지를 처리하여 인간 성능을 초월한다.
• MOB와 SAR-APD 평가 체계의 조합은 정확한 위치 특정보다 탐지 신뢰도를 우선시하는 더 실용적이고 운영적으로 관련성이 높은 성능 프로필을 가능하게 한다.
• 모델은 경쟁력 있는 추론 속도(1장당 1초)를 보이며, 현장에서 실시간 배포에 적합하다.