[논문 리뷰] Brain over Brawn - Using a Stereo Camera to Detect, Track and Intercept a Faster UAV by Reconstructing Its Trajectory.

Antonella Barišić, Frano Petric외 1명|arXiv (Cornell University)|2021. 07. 02.

Advanced Vision and Imaging참고 문헌 29인용 수 5

한 줄 요약

이 논문은 ZED Mini 카메라와 YOLOv3 Tiny를 사용한 스테레오 비전 기반 시스템을 제시하며, 베르누이의 레미니스케이트 근사법을 통해 궤적을 재구성하여 더 빠른 침입 드론 UAV의 3차원 추적을 가능하게 하고 정확한 격리( interception )를 실현한다. 이 방법은 비구조적인 실외 환경에서 12회의 시도 중 9회 성공적인 격리를 달성하였으며, 시뮬레이션에서 추적 대상보다 30% 더 빠르게 목표물을 추적할 수 있었다.

ABSTRACT

The work presented in this paper demonstrates our approach to intercepting a faster intruder UAV, inspired by the MBZIRC2020 Challenge 1. By leveraging the knowledge of the shape of the intruder's trajectory we are able to calculate the interception point. Target tracking is based on image processing by a YOLOv3 Tiny convolutional neural network, combined with depth calculation using a gimbal-mounted ZED Mini stereo camera. We use RGB and depth data from ZED Mini to extract the 3D position of the target, for which we devise a histogram-of-depth based processing to reduce noise. Obtained 3D measurements of target's position are used to calculate the position, the orientation and the size of a figure-eight shaped trajectory, which we approximate using lemniscate of Bernoulli. Once the approximation is deemed sufficiently precise, measured by Hausdorff distance between measurements and the approximation, an interception point is calculated to position the intercepting UAV right on the path of the target. The proposed method, which has been significantly improved based on the experience gathered during the MBZIRC competition, has been validated in simulation and through field experiments. The results confirmed that an efficient visual perception module which extracts information related to the motion of the target UAV as a basis for the interception, has been developed. The system is able to track and intercept the target which is 30% faster than the interceptor in majority of simulation experiments. Tests in the unstructured environment yielded 9 out of 12 successful results.

연구 동기 및 목표

• 동적인 비구조적 환경에서 더 빠른 침입 드론 UAV를 실시간으로 탐지하고 추적할 수 있는 실시간 시각 인식 시스템을 개발한다.
• 30% 더 빠른 침공 드론을 격리하기 위해 3차원 운동 재구성 기반의 미래 궤적 예측을 통해 도전 과제를 해결한다.
• 깊이 측정의 노이즈를 줄이기 위해 깊이 히스토GRAM 처리를 통해 실생활 조건에서의 내성 강화를 도모한다.
• 적합된 레미니스케이트 궤적 모델 기반으로 최적의 격리 지점 계산을 통해 자율 격리 기능을 구현한다.
• 실제 시뮬레이션 및 현장 실험을 통해 실용적 제약 조건 하에서의 신뢰성과 성능을 검증한다.

제안 방법

• 목표 드론 UAV의 3차원 위치 추정을 위해 동기화된 RGB 및 깊이 데이터를 캡처하기 위해 기립형 장착된 ZED Mini 스테레오 카메라를 사용한다.
• 실시간 이미지에서 객체 탐지를 위해 YOLOv3 Tiny를 활용하여, 현장 처리에 적합한 빠르고 가벼운 추론을 가능하게 한다.
• 깊이 측정의 노이즈를 줄이기 위해 깊이 히스토GRAM 처리를 적용하여 3차원 위치 추정의 정확도를 향상시킨다.
• 3차원 위치 데이터에 대해 베르누이의 레미니스케이트를 피팅하여 목표물의 궤적을 재구성하며, 이는 십자형 비행 경로를 모델링한다.
• 측정된 점들과 피팅된 레미니스케이트 사이의 하우스도르프 거리로 궤적 근사의 품질을 평가한다.
• 궤적 근사가 충분한 정밀도에 도달하면 격리 지점을 계산하여 추적기 드론이 목표물의 경로에 위치할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 경량 딥러닝 추론을 갖춘 스테레오 비전 시스템이 실시간으로 더 빠른 UAV를 신뢰성 있게 추적할 수 있는가?
• RQ2 실생활 조건에서 운동하는 UAV의 궤적을 베르누이의 레미니스케이트로 얼마나 정확하게 모델링할 수 있는가?
• RQ3 히스토GRAM-기반 깊이 처리가 궤적 재구성에 있어 깊이 측정 정확도를 어느 정도 향상시키는가?
• RQ4 비구조적 환경에서 목표 드론이 추적기보다 30% 더 빠를 경우 자율 격리의 성공률은 얼마인가?
• RQ5 실제 현장 테스트에서 시뮬레이션 결과에 비해 시스템의 효과는 어떠한가?

주요 결과

• 시스템은 시뮬레이션 실험의 대부분에서 추적기보다 30% 더 빠른 목표 드론 UAV를 성공적으로 추적하고 격리하였다.
• 비구조적 환경에서의 현장 실험에서 12회의 시도 중 9회 성공적인 격리를 달성하여 실생활 조건에서의 내성 강화를 입증하였다.
• 히스토GRAM-기반 깊이 처리가 깊이 측정의 노이즈를 크게 감소시켜 3차원 위치 추정의 신뢰성을 향상시켰다.
• 베르누이의 레미니스케이트는 목표물의 십자형 비행 경로를 효과적으로 근사하였으며, 하우스도르프 거리는 격리 준비 상태에 대한 신뢰도 지표로 사용되었다.
• YOLOv3 Tiny와 스테레오 깊이 센싱의 통합은 자율 UAV 격리에 적합한 실시간 현장 처리를 가능하게 하였다.
• 시스템은 시뮬레이션에서 실제 현장 구현으로의 일반화 능력이 뛰어나 동적인 환경에서의 실용적 적용 가능성을 검증하였다.