[논문 리뷰] Robust Real-time Pedestrian Detection in Aerial Imagery on Jetson TX2

Mohamed Afifi, Yara Ali외 3명|arXiv (Cornell University)|2019. 05. 16.

Advanced Neural Network Applications참고 문헌 11인용 수 6

한 줄 요약

이 논문은 YOLO 객체 검출 네트워크를 사용하여 드론 영상에서 실시간으로 안정적인 보행자 검출 프레임워크를 제시한다. 임베디드 플랫폼인 Jetson TX2에서 5 FPS 이상으로 실행되도록 최적화되었으며, 추가 트레이닝 없이 사전 훈련된 모델을 활용하여 ERTI 챌린지 데이터셋에서 약 81 mAP의 성능을 달성한다. 이는 드론 기반 감시 및 모니터링 응용 분야에서 효율적인 구현을 가능하게 한다.

ABSTRACT

Detection of pedestrians in aerial imagery captured by drones has many applications including intersection monitoring, patrolling, and surveillance, to name a few. However, the problem is involved due to continuouslychanging camera viewpoint and object appearance as well as the need for lightweight algorithms to run on on-board embedded systems. To address this issue, the paper proposes a framework for pedestrian detection in videos based on the YOLO object detection network [6] while having a high throughput of more than 5 FPS on the Jetson TX2 embedded board. The framework exploits deep learning for robust operation and uses a pre-trained model without the need for any additional training which makes it flexible to apply on different setups with minimum amount of tuning. The method achieves ~81 mAP when applied on a sample video from the Embedded Real-Time Inference (ERTI) Challenge where pedestrians are monitored by a UAV.

연구 동기 및 목표

• 드론이 촬영한 공기 영상에서 실시간 보행자 검출을 가능하게 하기 위해.
• 드론 영상에서의 동적인 카메라 시점과 다양한 보행자 외형에 의해 발생하는 과제를 해결하기 위해.
• Jetson TX2와 같은 차량 내 임베디드 시스템에 배포 가능한 경량 솔루션을 개발하기 위해.
• 사전 훈련된 모델을 사용하여 최소한의 튜닝으로 높은 정확도를 달성하기 위해.

제안 방법

• 프레임워크는 속도와 효율성으로 유명한 YOLO 객체 검출 네트워크 기반이다.
• 대상 데이터셋에 대한 추가 훈련 없이도 사전 훈련된 YOLO 모델을 사용한다.
• 저전력 임베디드 GPU 플랫폼인 Jetson TX2에서 추론을 최적화한다.
• 실시간 영상 스트림을 처리하여 5 FPS 이상의 높은 처리량을 유지한다.
• 사전 훈련된 가중치를 통해 전이 학습을 암묵적으로 활용함으로써 다양한 공기 영상 환경에서의 강건성을 확보한다.
• 최소한의 하이퍼파rameter 튜닝으로 설계되어 다양한 드론 설정에서 신속한 배포가 가능하다.

실험 결과

연구 질문

• RQ1 사전 훈련된 YOLO 모델이 대상 데이터셋에 대한 미세조정 없이도 공기 영상에서 강건한 보행자 검출을 달성할 수 있는가?
• RQ2 YOLO 기반 검출이 드론 영상 스트림에 대해 Jetson TX2 플랫폼에서 실시간 추론 성능을 얼마나 달성하는가?
• RQ3 이 방법은 공기 영상에서 다양한 카메라 시점과 보행자 외형 변화에도 높은 정확도를 유지할 수 있는가?
• RQ4 경량 모델이 임베디드 하드웨어에서 5 FPS 이상으로 작동하면서도 얼마나 높은 mAP 성능을 달성할 수 있는가?

주요 결과

• 시스템은 ERTI 챌린지 공기 영상 데이터셋에서 평균 정밀도(mAP) 약 81%를 달성한다.
• 프레임워크는 Jetson TX2에서 실시간 추론 처리량을 5 프레임 이상 유지한다.
• 재훈련이나 광범위한 하이퍼파rameter 튜닝 없이도 다양한 공기 조건에서 강력하게 작동한다.
• 사전 훈련된 모델의 사용으로 다양한 드론 기반 감시 및 모니터링 응용 분야에 신속한 배포가 가능하다.
• 실제 공기 영상 시퀀스에서 다양한 카메라 각도와 보행자 외형 변화에 대해 강력한 일반화 성능을 보여준다.