[논문 리뷰] Stereo Vision for Unmanned Aerial VehicleDetection, Tracking, and Motion Control

Maria N. Brunet, Guilherme A. Ribeiro외 2명|arXiv (Cornell University)|2020. 05. 07.

Robotics and Sensor-Based Localization참고 문헌 10인용 수 4

한 줄 요약

이 논문은 스테레오 카메라와 네트 발사 장치를 장착한 허터 드론을 사용하여 도착한 UAV를 자율적으로 탐지, 추적 및 운동 제어하는 스테레오 비전 기반 시스템을 제시한다. 방법은 스테레오 디스parity를 통한 3차원 포인트 클라우드 재구성, 유럽 클러스터링을 통한 UAV 탐지, 실시간 추적을 위한 칼만 필터를 조합하여, 0.09 m RMSE의 하위 미터 수준의 추적 정확도와 높은 정밀도/재현율을 달성함으로써 실시간으로 네트 기반의 격리가 가능하다.

ABSTRACT

An innovative method of detecting Unmanned Aerial Vehicles (UAVs) is presented. The goal of this study is to develop a robust setup for an autonomous multi-rotor hunter UAV, capable of visually detecting and tracking the intruder UAVs for real-time motion planning. The system consists of two parts: object detection using a stereo camera to generate 3D point cloud data and video tracking applying a Kalman filter for UAV motion modeling. After detection, the hunter can aim and shoot a tethered net at the intruder to neutralize it. The computer vision, motion tracking, and planning algorithms can be implemented on a portable computer installed on the hunter UAV.

연구 동기 및 목표

• 자율적 탐지 및 추적을 가능하게 하여 격리를 수행할 수 있는 실시간, 차량 내 시스템을 개발한다.
• 드론 기반의 대응 플랫폼을 통해 비승인 UAV 운영 증가에 대응한다.
• 스테레오 비전, 객체 탐지 및 운동 제어를 통합하여 다중 로터 허터 드론에 구현 가능한 이식성 있고 ROS 호환 시스템을 구축한다.
• 추적 중 일시적인 탐지 실패나 센서 노이즈에 대해 강건성을 확보한다.
• 예측 제어를 통해 추적 지연과 궤도 역학을 보완하여 터널링 네트 발사 장치의 정확한 방향 조절을 가능하게 한다.

제안 방법

• 허터 드론에 장착된 스테레오 카메라(WithRobot oCamS-1CGN-U)를 사용하여 기준거리 및 초점거리 파rameter를 활용해 디스파리티 매핑을 통해 3차원 포인트 클라우드 데이터를 생성한다.
• 0.1 m 해상도의 볼록 격자 다운샘플링을 적용하고, 10 m를 초과하는 점들을 제거하여 계산 부담을 줄이고 정확도를 향상시킨다.
• 필터링된 포인트 클라우드에 유럽 클러스터링을 적용하여 UAV를 탐지하며, 20개 미만 또는 200개 초과의 클러스터는 노이즈 및 비UAV 객체를 제외하기 위해 제거한다.
• 노이즈가 있는 탐지 측정치로부터 내부 상태(위치, 속도, 가속도)를 추정하고 예측하기 위해 이산 칼만 필터를 사용한다.
• 현재 위치와 예측된 목표 위치 간 오차를 최소화하기 위해 자세 명령어를 생성하는 위치 제어기를 구현한다.
• 모든 파이프라인을 차량 내 컴퓨터에서 30 FPS로 실행하며, 탐지 및 추적 지연 각각 0.15초로 나타나 탐지 계산이 파이프라인의 주요 병목임을 시사한다.

실험 결과

연구 질문

• RQ1 다양한 거리와 환경 조건에서 실시간으로 작은 빠른 이동 UAV를 신뢰성 있게 탐지할 수 있는가?
• RQ2 일시적인 탐지 실패 상황에서도 칼만 필터 기반 추적 시스템이 일관된 대상 연동을 유지하는가?
• RQ3 탐지 및 추적 지연이 허터 드론의 네트 기반 격리 정확도에 미치는 영향은 어느 정도인가?
• RQ4 추적 정확도(예: RMSE)는 얼마이며, 네트의 포착 영역과 비교해 볼 때 어떻게 되는가?
• RQ5 환경 잡음으로 인한 가짜 경고를 걸러내는 동안 시스템이 높은 정밀도와 재현율을 유지할 수 있는가?

주요 결과

• 2.5 m 거리에서 탐지 시스템은 X축에서 0.063 m, Y축에서 0.112 m, Z축에서 0.032 m의 루트 평균 제곱 오차(RMSE)를 기록했으며, 정밀도와 재현율은 각각 1.000과 0.974였다.
• 7.5 m 거리에서 재현율 0.993과 정밀도 0.998을 유지하여 거리 및 노이즈에 대한 강건성을 입증했다.
• 최적의 측정 노이즈 공분산 매개변수(r = 1.0)에서 추적 알고리즘이 최소 0.09 미터의 RMSE를 기록했으며, 모든 테스트된 r 값에서 MOTA가 0.999를 초과했다.
• 탐지 및 추적 지연은 각각 0.15초로 동일하여, 파이프라인에서 탐지 계산이 주요 병목임을 시사했다.
• 칼만 필터는 일시적인 탐지 실패 기간 동안도 목표의 위치를 성공적으로 예측하여 궤적 예측을 통해 추적의 중단 없음을 보장했다.
• 최종 추적 오차(0.09 m RMSE)는 네트의 포착 직경(>1 m)보다 훨씬 작아, 시스템이 정확한 격리를 위해 적합함을 확인했다.