[論文レビュー] FlightGoggles: A Modular Framework for Photorealistic Camera, Exteroceptive Sensor, and Dynamics Simulation

Winter Guerra, Ezra Tal+3 more|arXiv (Cornell University)|May 27, 2019

Aerospace and Aviation Technology参考文献 26被引用数 4

ひとこと要約

FlightGoggles は、写真測量に基づくセンサー描画とリアルタイムのモーショントラッキングデータを組み合わせることで、自律ドローンのための高精度な車両内ループテストを可能にするモジュラーで写真実写的なシミュレーションフレームワークです。合成センサデータと実際の車両運動を統合することで、複雑な環境における俊敏でセンサ駆動の飛行の開発を著しく加速する、現実的で外的センシングと動力学を実現します。

ABSTRACT

FlightGoggles is a photorealistic sensor simulator for perception-driven robotic vehicles. The key contributions of FlightGoggles are twofold. First, FlightGoggles provides photorealistic exteroceptive sensor simulation using graphics assets generated with photogrammetry. Second, it provides the ability to combine (i) synthetic exteroceptive measurements generated in silico in real time and (ii) vehicle dynamics and proprioceptive measurements generated in motio by vehicle(s) in a motion-capture facility. FlightGoggles is capable of simulating a virtual-reality environment around autonomous vehicle(s). While a vehicle is in flight in the FlightGoggles virtual reality environment, exteroceptive sensors are rendered synthetically in real time while all complex extrinsic dynamics are generated organically through the natural interactions of the vehicle. The FlightGoggles framework allows for researchers to accelerate development by circumventing the need to estimate complex and hard-to-model interactions such as aerodynamics, motor mechanics, battery electrochemistry, and behavior of other agents. The ability to perform vehicle-in-the-loop experiments with photorealistic exteroceptive sensor simulation facilitates novel research directions involving, e.g., fast and agile autonomous flight in obstacle-rich environments, safe human interaction, and flexible sensor selection. FlightGoggles has been utilized as the main test for selecting nine teams that will advance in the AlphaPilot autonomous drone racing challenge. We survey approaches and results from the top AlphaPilot teams, which may be of independent interest.

研究の動機と目的

• ロボット工学分野におけるシミュレーション結果に対する懐疑的態度を解消するため、より現実的で信頼できるシミュレーション環境を構築すること。
• 車両の動力学、センサ動作、環境との相互作用を抽象化したモデルに依存する従来のシミュレータの限界を克服すること。
• 写真測量から得られる写真実写のグラフィックスを用いて、外的センサ（例：カメラ、LiDAR）の高精度でリアルなリアルタイムシミュレーションを実現すること。
• モーショントラッキング施設から得られる実世界の車両運動および人間の行動データをシミュレート環境に統合し、正確な動力学モデルを構築すること。
• 特に複雑で障害物が多い環境において、認識駆動型自律システムの迅速な開発とテストを可能にすること。

提案手法

• 写真測量を用いて、現実の環境と物体を高精細な3Dモデルに再構築し、シミュレーションにおける写真実写レンダリングを実現します。
• ゲームエンジン技術（例：Unreal Engine）を用いて、仮想現実環境を構築し、外的センサをリアルタイムでレンダリングします。
• 物理的車両および人間のアクターからのリアルタイムのモーショントラッキングデータをシミュレーションにストリームインし、車両の動力学と自己認識測定値を駆動します。
• フレームワークは、センサシミュレーション（計算上）と車両動力学（モーショントラッキング）を分離することで、現実の物理的挙動と行動を再現する車両内ループ実験を可能にします。
• 飛行中にモーショントラッキング施設で収集された実際の搭載センサ（例：IMU、オドメトリ）の自己認識データを、合成センサ出力と同期させます。
• カメラ、赤外線ビーコン、時間飛行センサ、およびシミュレートされたIMUを含む、柔軟なセンサ設定をサポートし、多様な認識パイプラインのテストを可能にします。

実験結果

リサーチクエスチョン

• RQ1 写真測量を用いた写真実写センサシミュレーションは、従来の合成レンダリングと比較して、ロボット認識シミュレーションの忠実度と現実性を向上させるか？
• RQ2 車両および人間エージェントの実際のモーショントラッキングデータを、明示的なモデル化を伴わずに、シミュレーションフレームワークに効果的に統合できる範囲はどの程度か？
• RQ3 合成された外的センシングと実際の車両動力学を組み合わせることで、認識および制御アルゴリズムのテストにおける妥当性と信頼性にどのような影響を与えるか？
• RQ4 このようなハイブリッドシミュレーションフレームワークは、挑戦的な環境における自律飛行システムの開発をより速く、より強固に可能にするか？
• RQ5 実世界のベンチマークチャレンジにおいて、このシミュレーションプラットフォームを用いたチームのパフォーマンス特性とアルゴリズム的トレンドは何か？

主な発見

• FlightGoggles は、AlphaPilot自律ドローンレースチャレンジの主たるテストプラットフォームとして使用され、9つのファイナリストチームの選定が可能になりました。
• チャレンジの上位20チームのうち、19チームが従来の認識パイプラインアーキテクチャ（推定、計画、制御）を採用していましたが、1チームのみがエンドツーエンドの学習ベースの手法を採用していました。
• 上位20チーム全員がシミュレートされたIMUおよび赤外線ビーコンセンサを使用していましたが、10チームが追加でカメラおよび時間飛行センサを統合していました。
• ゲート付近では、検索と追尾の要請により平均速度が著しく低下し、大多数の衝突がゲート付近で発生していたことから、視覚サーボの精度に課題があることが示されました。
• 参加者の75％が25の評価コースの半分を完了できず、速度を最大化するための高リスク戦略が取られていたことから、スコアの標準偏差が大きく、パフォーマンスのばらつきが顕著でした。
• このフレームワークは、障害物が多く複雑な環境における俊敏で認識駆動型の自律飛行システムの開発を支援する、高精度でリアルタイムのシミュレーションを成功裏に実現しました。