[論文レビュー] A Framework for Visually Realistic Multi-robot Simulation in Natural Environment

Ori Ganoni, Ramakrishnan Mukundan|arXiv (Cornell University)|Aug 6, 2017

Robotics and Sensor-Based Localization被引用数 11

ひとこと要約

本論文は、複雑な自然環境における写真のようにリアルな光学および深度センサデータを生成するため、Unreal Engine 4 (UE4) を使用した視覚的に現実的なマルチドローンシミュレーションフレームワークを提示している。風や照明の変化といった動的条件下でのコンピュータビジョンアルゴリズムのテストを可能にし、現実的な環境劣化効果を伴う遮蔽のある森の状況でも効果的なドローン追跡を実証している。

ABSTRACT

This paper presents a generalized framework for the simulation of multiple robots and drones in highly realistic models of natural environments. The proposed simulation architecture uses the Unreal Engine4 for generating both optical and depth sensor outputs from any position and orientation within the environment and provides several key domain specific simulation capabilities. Various components and functionalities of the system have been discussed in detail. The simulation engine also allows users to test and validate a wide range of computer vision algorithms involving different drone configurations under many types of environmental effects such as wind gusts. The paper demonstrates the effectiveness of the system by giving experimental results for a test scenario where one drone tracks the simulated motion of another in a complex natural environment.

研究の動機と目的

• 複雑な自然環境におけるマルチロボットおよびマルチドローンシステムのスケーラブルで視覚的に現実的なシミュレーションフレームワークの開発。
• 風、動的照明、植生の運動といった高精細な環境効果をドローンシミュレーションに統合し、現実的なコンピュータビジョンテストを可能にすること。
• リアルタイムセンサ出力を持つゲームエンジンからのグランドトゥルースデータを用いて、ビジョンベースの追跡およびナビゲーションアルゴリズムの正確な評価を可能にすること。
• UE4の高度なレンダリングおよび物理的機能を活用することで、シミュレーションのリアリズムと実用的ロボティクス研究のギャップを埋めること。
• ArduPilot や PX4 などの実ドローンファームウェアをサポートする、スタンドアロンで SITL に対応したシミュレーション環境を提供し、エンドツーエンドのテストを可能にすること。

提案手法

• フレームワークは、ドローンの位置および姿勢に基づいて、写真のようにリアルな視覚的および深度センサ出力をレンダリングするため、Unreal Engine 4 をコアシミュレーションエンジンとして使用している。
• ArduPilot および PX4 ドローンファームウェアのソフトウェアインザループ (SITL) 実行を統合し、リアルタイム制御およびセンサシミュレーションを可能にしている。
• 風の突風や動的照明といった環境効果を UE4 内でシミュレートし、ドローンの運動および視覚的センサデータに影響を与える。
• 木々、芝生、葉物植生といった現実的な自然的特徴をサポートし、視界を遮断し、さまざまな条件下での視覚的外観を変化させる。
• シーン再生およびシミュレーション中の GPU および CPU 利用率をモニタリングするため、nvidia-smi および Python psutil を使用してカスタムプロファイリングツールを開発した。
• マルチロボット相互作用をサポートするシミュレーションアーキテクチャを採用し、森の環境で色ベースの HSV 追跡器を用いて1台のドローンが他を追跡するシナリオを実装した。

実験結果

リサーチクエスチョン

• RQ1 ゲームエンジンベースのシミュレーションフレームワークは、自然環境におけるマルチドローンシステムの視覚的に現実的で物理的に妥当なセンサ出力を生成できるか？
• RQ2 風や木陰による影の影響といった環境要因は、シミュレーションにおけるビジョンベースの追跡アルゴリズムの性能にどのように影響を与えるか？
• RQ3 UE4 ベースのシミュレーション環境は、ドローン追跡タスクにおける現実世界の視覚的劣化および動的擾乱をどの程度正確に再現できるか？
• RQ4 フレームワークは、実ドローンファームウェアの SITL 実行を維持しながら、高精細な視覚的および深度センサ出力を提供できるか？
• RQ5 GPU を多く使用するカメラ移動および複雑なシーンレンダリングにおいて、システムの性能はどのようにスケーリングするか？

主な発見

• フレームワークは、木々が茂る森を含む複雑な自然環境において、任意のドローンの位置および姿勢から、写真のようにリアルな光学および深度センサ出力を正常に生成した。
• 木々の影による影響により、ドローンが森の領域に入ると追跡性能が著しく低下し、色相および明度成分が追跡器のしきい値を超えて変化した。
• 風のシミュレーションにより、特に離陸および着陸時の高周波数のマニューバーと変化する視点角度に起因し、推定ドローン中心位置の振動が増加した。
• カメラ処理が頻繁に行われないため、カメラ処理が集中する際の GPU 利用率は 100% に達し、フレームレートに直接的な影響を与え、CPU 負荷が低下した。
• 一貫した環境条件下では結果の再現性が確認され、風の有無などの異なる条件下では変動が観察されたため、制御された実験に適していることが妥当性を保証した。
• シミュレーションフレームワークは、多様で現実的な環境劣化効果を伴う条件下でのビジョンアルゴリズムの評価に適した信頼性の高いグランドトゥルースデータ生成を可能にした。