[논문 리뷰] Small Target Detection for Search and Rescue Operations using Distributed Deep Learning and Synthetic Data Generation

Kyongsik Yun, Luan Viet Nguyen외 6명|arXiv (Cornell University)|2019. 04. 25.

Advanced Neural Network Applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 합성 데이터 증강을 사용한 분산 딥러닝 시스템을 제안하여 구조 및 구조적 작동(SAR) 운영에서 실시간으로 소형 목표물 탐지 기능을 가능하게 한다. 드론(UAV), 고정 감시 카메라, 영상 강화 및 합성곱 신경망을 조합함으로써, 시스템은 소형 목표물(예: 물에 빠진 사람)을 8초 내로 탐지하며, 이는 인간 탐지보다 훨씬 빠른 속도이다(25초). 이는 구조대원들에게 더 빠른 속도와 정확도를 제공함을 입증한다.

ABSTRACT

It is important to find the target as soon as possible for search and rescue operations. Surveillance camera systems and unmanned aerial vehicles (UAVs) are used to support search and rescue. Automatic object detection is important because a person cannot monitor multiple surveillance screens simultaneously for 24 hours. Also, the object is often too small to be recognized by the human eye on the surveillance screen. This study used UAVs around the Port of Houston and fixed surveillance cameras to build an automatic target detection system that supports the US Coast Guard (USCG) to help find targets (e.g., person overboard). We combined image segmentation, enhancement, and convolution neural networks to reduce detection time to detect small targets. We compared the performance between the auto-detection system and the human eye. Our system detected the target within 8 seconds, but the human eye detected the target within 25 seconds. Our systems also used synthetic data generation and data augmentation techniques to improve target detection accuracy. This solution may help the search and rescue operations of the first responders in a timely manner.

연구 동기 및 목표

• 자동화된 시스템을 통해 구조 및 구조적 작동(SAR) 운영에서 소형 목표물 탐지 시간을 단축시키기.
• 인간이 눈에 띄기 어려운 소형이면서 저대비 목표물을 감시 영상에서 탐지하는 데 도전하는 문제 해결.
• 합성 데이터 생성 및 데이터 증강 기법을 활용해 탐지 정확도 향상.
• 드론과 고정 카메라와 함께 사용할 수 있는 확장 가능하고 실시간 탐지 시스템 개발을 통한 미국 해안경비대 운영에의 적용.
• 속도와 신뢰성 측면에서 인간 시각적 탐지 대비 시스템 성능 비교.

제안 방법

• 휴스턴 항만 주변에 드론과 고정 감시 카메라를 배치하여 실시간 영상 데이터 수집.
• 저해상도 영상에서 소형 목표물의 가시성을 향상시키기 위해 영상 분할 및 강화 기법 적용.
• 실제 데이터와 합성 데이터의 조합을 사용해 합성곱 신경망(CNN)을 훈련하여 모델의 일반화 능력 향상.
• 희귀하거나 촬영하기 어려운 목표물 시나리오에 특화된 합성 데이터 생성을 통해 훈련 데이터 증강.
• 다중 컴퓨팅 노드 간의 훈련 및 추론 속도 향상을 위해 분산 딥러닝 활용.
• 최종 모델을 실시간 탐지 파이프라인에 통합하여 운영용 배포 지원.

실험 결과

연구 질문

• RQ1 딥러닝 기반 시스템이 인간 운영자보다 감시 영상에서 소형 목표물을 현저히 더 빠르게 탐지할 수 있는가?
• RQ2 합성 데이터 생성이 SAR 시나리오에서 소형 목표물 탐지의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 탐지 시간 측면에서 자동 탐지와 인간 시각적 탐색 간의 성능 격차는 어느 정도인가?
• RQ4 분산 딥러닝이 실시간 SAR 응용 프로그램의 추론 속도 향상에 어느 정도 기여하는가?
• RQ5 영상 강화 및 분할 기법은 저해상도 영상에서 소형 저대비 목표물 탐지에 얼마나 효과적인가?

주요 결과

• 자동화된 시스템은 소형 목표물을 8초 내로 탐지했으며, 인간 운영자가 탐지하는 데는 25초가 소요되었다.
• 합성 데이터 생성의 활용이 실제 세계 테스트 데이터에서 모델의 일반화 능력과 탐지 정확도를 현저히 향상시켰다.
• 영상 강화 및 분할 기법이 저해상도 영상 피드에서 소형 목표물의 가시성을 효과적으로 향상시켰다.
• 분산 딥러닝 프레임워크가 훈련 및 추론 속도를 가속화하여 실시간 배포를 가능케 하였다.
• 휴스턴 항만의 다양한 환경 조건에서도 시스템은 일관된 성능을 보였다.
• 지속적인 모니터링 조건 하에서 제안된 파이프라인은 인간 탐지 대비 속도와 신뢰성 측면에서 뛰어난 성능을 보였다.