[論文レビュー] Brain over Brawn - Using a Stereo Camera to Detect, Track and Intercept a Faster UAV by Reconstructing Its Trajectory.

Antonella Barišić, Frano Petric+1 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Vision and Imaging参考文献 29被引用数 5

ひとこと要約

本論文では、ZED MiniカメラとYOLOv3 Tinyを用いたステレオビジョンベースのシステムを提案し、レムニスケート・オブ・ベルヌーイ近似を用いて3次元軌道を再構築することで、より速い侵入ドローンUAVの高精度な追跡と迎撃を実現する。本手法は、構造のない屋外環境でも12回中9回の成功を記録し、シミュレーションにおいても迎撃機よりも30%速くターゲットを追跡できる。

ABSTRACT

The work presented in this paper demonstrates our approach to intercepting a faster intruder UAV, inspired by the MBZIRC2020 Challenge 1. By leveraging the knowledge of the shape of the intruder's trajectory we are able to calculate the interception point. Target tracking is based on image processing by a YOLOv3 Tiny convolutional neural network, combined with depth calculation using a gimbal-mounted ZED Mini stereo camera. We use RGB and depth data from ZED Mini to extract the 3D position of the target, for which we devise a histogram-of-depth based processing to reduce noise. Obtained 3D measurements of target's position are used to calculate the position, the orientation and the size of a figure-eight shaped trajectory, which we approximate using lemniscate of Bernoulli. Once the approximation is deemed sufficiently precise, measured by Hausdorff distance between measurements and the approximation, an interception point is calculated to position the intercepting UAV right on the path of the target. The proposed method, which has been significantly improved based on the experience gathered during the MBZIRC competition, has been validated in simulation and through field experiments. The results confirmed that an efficient visual perception module which extracts information related to the motion of the target UAV as a basis for the interception, has been developed. The system is able to track and intercept the target which is 30% faster than the interceptor in majority of simulation experiments. Tests in the unstructured environment yielded 9 out of 12 successful results.

研究の動機と目的

• 動的で構造のない環境において、より速い侵入ドローンUAVを検出・追跡できるリアルタイムの視覚的認識システムの開発。
• 迎撃機よりも30%速いドローンを追撃するにあたり、3次元運動再構築を用いてその将来の軌道を予測することで、課題を克服する。
• ヒストグラム・オブ・デプス処理を用いることで、深度測定のノイズを低減し、実世界の条件下での耐性を向上させる。
• フィッティングされたレムニスケート軌道モデルに基づいて最適な迎撃点を計算することで、自律迎撃を可能にする。
• 実際のフィールド実験とシミュレーションの両方でシステムを検証し、実用的制約下での信頼性と性能を示す。

提案手法

• ジンバル搭載のZED Miniステレオカメラを用い、同期されたRGBおよび深度データを取得し、ターゲットUAVの3次元位置推定を実現する。
• RGB画像におけるリアルタイムのオブジェクト検出にYOLOv3 Tinyを適用し、搭載処理に適した高速で軽量な推論を実現する。
• ヒストグラム・オブ・デプス処理を適用して深度測定のノイズを低減し、3次元位置推定の精度を向上させる。
• 3次元位置データにレムニスケート・オブ・ベルヌーイをフィッティングすることで、ターゲットの図8字飛行経路を再構築する。
• 測定された点とフィッティングされたレムニスケートとの間のハウスドルフ距離を用いて、軌道近似の品質を評価する。
• 軌道近似が十分な精度に達した段階で、迎撃点を計算し、迎撃機がターゲットの経路に沿って位置を合わせられるようにする。

実験結果

リサーチクエスチョン

• RQ1 軽量なディープラーニング推論を備えたステレオビジョンシステムは、リアルタイムでより速いUAVを信頼性を持って追跡できるか？
• RQ2 実世界の条件下で、図8字飛行を行う動きの激しいUAVの軌道を、レムニスケート・オブ・ベルヌーイがどれほど正確にモデル化できるか？
• RQ3 ヒストグラム・オブ・デプス処理は、軌道再構築に用いる深度測定の精度をどの程度向上させるか？
• RQ4 構造のない環境下で、ターゲットUAVが迎撃機よりも30%速い場合、自律迎撃の成功率はどの程度か？
• RQ5 シミュレーション結果と比較して、実世界のフィールドテストでの本システムの有効性はいかがなものか？

主な発見

• 多数のシミュレーション実験において、迎撃機よりも30%速いターゲットUAVを、本システムは正常に追跡・迎撃した。
• 構造のない環境での実地実験では、12回中9回の迎撃に成功し、実世界の条件下でも高い耐性を示した。
• ヒストグラム・オブ・デプス処理により、深度測定のノイズが顕著に低減され、3次元位置推定の信頼性が向上した。
• レムニスケート・オブ・ベルヌーイは、ターゲットの図8字軌道を効果的に近似でき、ハウスドルフ距離が迎撃準備の信頼性指標として有効に機能した。
• YOLOv3 Tinyとステレオ深度センシングの統合により、自律UAV迎撃に適したリアルタイムでオンボード処理可能な性能が実現された。
• 本システムは、シミュレーションから実世界への展開において優れた一般化性能を示し、動的環境下での実用的応用性を裏付けた。