[論文レビュー] REDBEE: A Visual-Inertial Drone System for Real-Time Moving Object Detection

Chong Huang, Peng Chen+3 more|arXiv (Cornell University)|Dec 26, 2017

Robotics and Sensor-Based Localization参考文献 19被引用数 8

ひとこと要約

REDBEE は、強い視差に対応するインertial-aided 双平面ホモジーネイション推定と、空間的・時間的・エントロピー的一致性を活用する確率的モデルを組み合わせることで、低消費電力のオンボードプロセッサ上で正確な動的物体検出を実現するリアルタイムのビジュアルインertialドローンシステムです。本システムは、商用ドローンハードウェア上で屋外環境でも高い精度を達成し、最先端のオンボード手法を上回ります。

ABSTRACT

Aerial surveillance and monitoring demand both real-time and robust motion detection from a moving camera. Most existing techniques for drones involve sending a video data streams back to a ground station with a high-end desktop computer or server. These methods share one major drawback: data transmission is subjected to considerable delay and possible corruption. Onboard computation can not only overcome the data corruption problem but also increase the range of motion. Unfortunately, due to limited weight-bearing capacity, equipping drones with computing hardware of high processing capability is not feasible. Therefore, developing a motion detection system with real-time performance and high accuracy for drones with limited computing power is highly desirable. In this paper, we propose a visual-inertial drone system for real-time motion detection, namely REDBEE, that helps overcome challenges in shooting scenes with strong parallax and dynamic background. REDBEE, which can run on the state-of-the-art commercial low-power application processor (e.g. Snapdragon Flight board used for our prototype drone), achieves real-time performance with high detection accuracy. The REDBEE system overcomes obstacles in shooting scenes with strong parallax through an inertial-aided dual-plane homography estimation; it solves the issues in shooting scenes with dynamic background by distinguishing the moving targets through a probabilistic model based on spatial, temporal, and entropy consistency. The experiments are presented which demonstrate that our system obtains greater accuracy when detecting moving targets in outdoor environments than the state-of-the-art real-time onboard detection systems.

研究の動機と目的

• 限られたオンボード計算能力を持つドローンを用いた空中監視におけるリアルタイムで正確な動的物体検出の課題に対処すること。
• ドローン飛行で一般的な動くカメラの状況における強い視差効果を克服すること。
• 揺れる木々や動く影などの動的背景によって引き起こされる誤検出を抑制すること。
• 外部のステーション計算に依存せずに、低消費電力の商用ドローンプロセッサ上で高性能な動き検出を実現すること。
• 屋外の複雑な環境でもリアルタイムで高精度に動作するシステムを開発すること。

提案手法

• 本システムは、モノクローラルカメラとインertial測定装置（IMU）のデータを融合するビジュアルインエイティブ融合アプローチを採用し、頑健な動き推定を実現します。
• 空撮の動きにおける強い視差の影響を軽減するため、インエイティブ支援付きの双平面ホモジーネイション推定を採用します。
• 空間的・時間的・エントロピー的一致性を統合する確率的モデルを用いて、背景の動きと動的物体を区別します。
• リアルタイム性能を維持しながらも、物体検出における時間的整合性を保つためにスライディングウインドウ方式を採用します。
• 商用の低消費電力プロセッサ（Snapdragon Flight）上で動作させることで、外部計算支援なしでのデプロイを可能にします。
• 精度と計算効率のバランスを取るために、組み込み環境向けにアルゴリズムを最適化しています。

実験結果

リサーチクエスチョン

• RQ1 強い視差が生じる動的屋外環境において、リアルタイムでオンボードで動作する動き検出システムが高精度を達成できるか。
• RQ2 高速ドローン飛行下でも、インエイティブデータを視覚データと効果的に統合することで、ホモジーネイション推定の精度を向上させられるか。
• RQ3 空間的・時間的・エントロピー的一致性を活用することで、動的背景に起因する誤検出をどの程度低減できるか。
• RQ4 低消費電力の組み込みプロセッサが、実用的なドローン用途に十分な精度でリアルタイムの動き検出を処理できるか。
• RQ5 本手法が、最先端のオンボードシステムと比較して、検出精度と耐障害性においてどの程度優れているか。

主な発見

• REDBEE は商用の低消費電力プロセッサ（Snapdragon Flight）上でリアルタイム性能を達成しており、組み込みデプロイの実現可能性を示しています。
• 特に強い視差が生じるシーンにおいて、REDBEE は最先端のオンボード動き検出システムを上回る性能を示しました。
• インエイティブ支援付きの双平面ホモジーネイション推定は、強い視差条件下でも動き推定の精度を顕著に向上させました。
• 空間的・時間的・エントロピー的一致性に基づく確率的モデルは、動的背景に起因する誤検出を効果的に抑制しました。
• 動く植生や照明の変化がある複雑なシーンでも、REDBEE は高い検出精度を維持しました。
• 実験結果から、REDBEE は複数の屋外テストシナリオにおいて、既存のリアルタイムオンボードシステムを上回る優れた精度を達成していることが確認されました。