[논문 리뷰] An Analysis of Deep Object Detectors For Diver Detection

Karin de Langis, Michael Fulton외 1명|arXiv (Cornell University)|2020. 11. 25.

Advanced Neural Network Applications참고 문헌 39인용 수 11

한 줄 요약

이 논문은 105,000개의 애너테이션된 다이버 이미지를 포함한 대규모 비디오 기반 데이터셋인 Video Diver Detection 데이터셋(VDD-100K)을 소개하며, 실시간 잠수부 탐지에 적합한 딥러닝 객체 검출기들—SSD, YOLOv4, LSTM-SSD—를 평가한다. 실시간 AUV 응용 프로그램에서 속도, 정확도, 시간적 안정성의 최적 균형을 제공하는 것은 Tiny-YOLOv4와 SSD 모델이며, 비디오 기반 모델은 탐지 일관성 향상에 잠재력을 보이고 있다.

ABSTRACT

With the end goal of selecting and using diver detection models to support human-robot collaboration capabilities such as diver following, we thoroughly analyze a large set of deep neural networks for diver detection. We begin by producing a dataset of approximately 105,000 annotated images of divers sourced from videos -- one of the largest and most varied diver detection datasets ever created. Using this dataset, we train a variety of state-of-the-art deep neural networks for object detection, including SSD with Mobilenet, Faster R-CNN, and YOLO. Along with these single-frame detectors, we also train networks designed for detection of objects in a video stream, using temporal information as well as single-frame image information. We evaluate these networks on typical accuracy and efficiency metrics, as well as on the temporal stability of their detections. Finally, we analyze the failures of these detectors, pointing out the most common scenarios of failure. Based on our results, we recommend SSDs or Tiny-YOLOv4 for real-time applications on robots and recommend further investigation of video object detection methods.

연구 동기 및 목표

• 수중 로봇에서 잠수부 탐지에 대한 대규모 비디오 기반 데이터셋의 부족을 보완하기 위해.
• 최신 딥러닝 객체 검출기의 성능, 안정성 및 효율성을 실제 로봇 구현 환경에서 평가하기 위해.
• 부분적 가시성 및 가림 현상과 관련된 잠수부 탐지 시스템의 고장 유형을 규명하기 위해.
• 수중 환경에서 실시간 인간-로봇 협업을 위한 최적의 모델 선택을 안내하기 위해.
• 비디오 기반 객체 검출이 탐지 추적의 시간적 안정성 향상에 기여할 잠재력을 탐색하기 위해.

제안 방법

• 수영장 및 현장 환경에서 촬영한 약 105,000개의 비디오 프레임을 수집하고 완전히 애너테이션하여 VDD-100K 데이터셋을 구축하였으며, 다양한 잠수부 자세, 조명 조건 및 운동 양상을 반영하였다.
• 단일 프레임 검출기(SSD with MobileNetv2/v3, YOLOv4, YOLOv4-tiny, Faster R-CNN)와 시간적 맥락을 활용하는 비디오 기반 검출기(LSTM-SSD)를 포함한 여러 딥러닝 모델을 훈련시켰다.
• 표준 객체 검출 지표(정밀도, 재현율, IOU 임계치 0.5, 0.75, 0.5–0.95에서의 mAP)를 사용하여 모델을 평가하였으며, 시간적 안정성 지표로 이동 오차, 크기 오차, 단절 오차를 도입하였다.
• 실시간 AUV 배포 가능성 평가를 위해 GPU 및 임베디드 Jetson TX2 플랫폼에서 추론 속도를 측정하였다.
• 가짜 음성 결과를 분석하여, 프레임 외부로 벗어난 부분적 포함 및 다른 잠수부에 의한 가림이 주요 원인임을 특정하였다.
• 모델 간 공정한 비교를 위해 모든 모델에서 정밀도와 재현율의 균형을 맞추기 위해 신뢰도 임계치 최적화를 수행하였다.

실험 결과

연구 질문

• RQ1 최신 단일 프레임 및 비디오 기반 객체 검출기가 대규모 수중 잠수부 탐지 데이터셋에서 정확도, 안정성 및 추론 속도 측면에서 어떻게 성능을 발휘하는가?
• RQ2 실제 수중 비디오 스트림에서 딥러닝 기반 잠수부 검출기의 가장 흔한 고장 상황은 무엇인가?
• RQ3 비디오 객체 검출에서 시간적 맥락을 통합할 경우 단일 프레임 모델 대비 탐지 안정성이 어떻게 향상되는가?
• RQ4 임베디드 로봇 플랫폼에 배포하기 위한 실시간 추론 성능과 탐지 정확도 사이에서 최적의 균형을 이루는 모델은 무엇인가?
• RQ5 정적 이미지 데이터셋 대비 비디오 기반 데이터셋이 운동 및 시야각 변화에 대한 일반화 능력과 강건성 향상에 얼마나 기여하는가?

주요 결과

• Jetson TX2에서 YOLOv4-Tiny는 35 FPS로 가장 높은 추론 속도를 기록하여 실시간 임베디드 배포 환경에서 다른 모델들을 앞섰다.
• LSTM-SSD는 표준 SSD 변종 대비 낮은 단절 오차를 보이며 향상된 시간적 일관성을 나타내었지만, 추론 시간이 다소 높았다.
• YOLOv4와 YOLOv4-Tiny는 모든 모델 중에서 가장 낮은 단절 오차를 기록하여 경계 상자 추적에서 뛰어난 시간적 안정성을 확보하였다.
• 가장 흔한 고장 유형은 프레임에 완전히 포함되지 않은 경우(모서리 케이스)와 다른 잠수부에 의한 가림이었으며, 이는 가짜 음성 결과의 상당 부분을 차지하였다.
• MobileNetv3-Large를 사용한 SSD와 MobileNetv2를 사용한 SSD는 높은 정확도와 합리적인 추론 속도를 확보하여 속도보다는 일관성 있는 탐지가 필요한 응용 분야에 적합하였다.
• 낮은 mAP에도 불구하고 LSTM-SSD는 낮은 단절 오차와 높은 추론 속도를 보이며 비디오 기반 검출의 잠재력을 입증하여, 향후 비디오 검출 방법의 추가 탐색이 필요하다고 제안하였다.