[論文レビュー] Aerial Gym -- Isaac Gym Simulator for Aerial Robots

Mihir Kulkarni, Theodor J. L. Forgaard+1 more|arXiv (Cornell University)|May 25, 2023

Robotic Path Planning Algorithms被引用数 7

ひとこと要約

Aerial Gym は、NVIDIA Isaac Gym を基盤に構築された GPU アクセラレート型で、並列処理が高度に最適化された空中ロボット用シミュレータであり、SE(3) 上での非線形幾何的制御を用いて、正確な姿勢、速度、位置追従を実現する。最大 134,217,728 台のロボットをリアルタイムでシミュレート可能で、大規模な障害物のランダム化、RGB、深度、セグメンテーション、オプティカルフローを含むマルチセンサデータのサポート、強化学習フレームワークとの統合を実現。131,072 台のロボットに対して、1 秒あたり 380 万ステップ以上のシミュレーションステップを達成している。

ABSTRACT

Developing learning-based methods for navigation of aerial robots is an intensive data-driven process that requires highly parallelized simulation. The full utilization of such simulators is hindered by the lack of parallelized high-level control methods that imitate the real-world robot interface. Responding to this need, we develop the Aerial Gym simulator that can simulate millions of multirotor vehicles parallelly with nonlinear geometric controllers for the Special Euclidean Group SE(3) for attitude, velocity and position tracking. We also develop functionalities for managing a large number of obstacles in the environment, enabling rapid randomization for learning of navigation tasks. In addition, we also provide sample environments having robots with simulated cameras capable of capturing RGB, depth, segmentation and optical flow data in obstacle-rich environments. This simulator is a step towards developing a - currently missing - highly parallelized aerial robot simulation with geometric controllers at a large scale, while also providing a customizable obstacle randomization functionality for navigation tasks. We provide training scripts with compatible reinforcement learning frameworks to navigate the robot to a goal setpoint based on attitude and velocity command interfaces. Finally, we open source the simulator and aim to develop it further to speed up rendering using alternate kernel-based frameworks in order to parallelize ray-casting for depth images thus supporting a larger number of robots.

研究の動機と目的

• 強化学習における空中ロボットのための高水準な制御インターフェースをサポートする、並列処理可能で高精度なシミュレーション環境の不足に対処すること。
• SE(3) 上での正確な非線形幾何的制御を用いて、姿勢、速度、位置追従を実現する多旋翼機の大量並列シミュレーションを可能にすること。
• 過学習を防ぐために、環境に応じて動的に変更可能な障害物のランダム化を実現する、カスタマイズ可能なテンソルベースのアセットマネージャーの開発。
• 視認性駆動学習を目的とした、大規模な高精度なセンサシミュレーション（RGB、深度、セグメンテーション、オプティカルフロー）のサポート。
• 一般的な強化学習フレームワークとの統合スクリプトを備えたオープンソースのシミュレータをリリースし、空中ロボットナビゲーション分野の研究を加速すること。

提案手法

• NVIDIA Isaac Gym を基盤として、数千台のロボットを並列にシミュレート可能な GPU アクセラレート型物理学シミュレーションを活用。
• 特別エウレッパ群 SE(3) 上に非線形幾何的制御器を実装し、機体座標系および慣性座標系において、正確な姿勢、速度、位置追従を実現。
• URDF ファイルと設定ファイルを用いて、位置、方向、クラスベースのグループ化をカスタマイズ可能な障害物をランダムに抽出・配置するテンソルベースのアセットマネージャーを設計。
• ユーザーが定義した範囲内で障害物の位置と方向をランダム化可能であり、特定の次元において定数値を用いて固定配置もサポート。
• Isaac Gym のテンソルレベルアクセスを活用し、最大 1,024 台のロボットに対して、1 秒あたり最大 1,800 fps で RGB、深度、セグメンテーション、オプティカルフローのデータを生成するシミュレーテッドカメラを統合。
• cleanRL や rl-games などの一般的な強化学習フレームワークと互換性を持つトレーニングスクリプトを提供し、姿勢および速度指令インターフェースを用いたゴール到達タスクの実行を可能に。

実験結果

リサーチクエスチョン

• RQ1 SE(3) 上での幾何的制御を備えた、高度に並列化された空中ロボットシミュレータは、スケールに応じてリアルタイム性能を達成できるか。また、実際のロボットインターフェースを模倣できるか。
• RQ2 クリアな環境におけるナビゲーションのための強化学習において、カスタマイズ可能な大規模障害物ランダム化が、過学習をどれほど効果的に防げるか。
• RQ3 GPU アクセラレート型物理学およびレンダリングを用いた場合、マルチローター機のシミュレーションで、完全なセンサシミュレーション（深度を含む）の最大スループットはどの程度達成可能か。
• RQ4 並列処理されたシミュレーション環境において、RGB、深度、セグメンテーション、オプティカルフローのセンサデータの忠実度は、スケールに応じてどの程度維持できるか。
• RQ5 既存の強化学習フレームワークとの統合は、ナビゲーションポリシーのエンドツーエンドトレーニングにおいて、どの程度良好に機能するか。

主な発見

• 最大 131,072 台のロボットに対して、1 秒あたり 380 万ステップ以上のシミュレーションステップを達成しており、これは 1 台のロボットをリアルタイムでシミュレートするのと比べて 38,000 倍の高速化に相当する。
• 1,024 台のロボットと深度カメラ（270×480 解像度）を用いた場合、シミュレータは最大 1,800 フレーム/秒を生成可能であり、スケーラブルなセンサデータ生成を実証した。
• テンソルベースのアセットマネージャーにより、環境全体にわたる障害物の位置と方向の効率的で多様なランダム化が可能となり、繰り返しのない障害物配置が可能になった。
• SE(3) 上の幾何的制御器の統合により、正確な姿勢および速度追従が保証され、実際のロボット動作に類似した高水準な制御インターフェースが実現した。
• マルチセンサデータパイプラインにオプティカルフローを統合することで、複雑な環境における視認性駆動型強化学習が可能になった。
• https://github.com/ntnu-arl/aerial_gym_simulator にてオープンソースリリースが行われ、コミュニティの採用と今後の開発が促進され、さらなるレンダリング最適化のためのカーネルベースのレイキャスティングも実装可能となった。