[論文レビュー] Flappy Hummingbird: An Open Source Dynamic Simulation of Flapping Wing Robots and Animals

Fei Fan, Zhan Tu+3 more|arXiv (Cornell University)|Feb 25, 2019

Biomimetic flight and propulsion mechanisms参考文献 24被引用数 4

ひとこと要約

本論文は、DARTとブレードエレメント力学を用いた物理ベースのモデルを用いて、フラッピングウィングマイクロエアビークル（FWMAVs）および動物を対象としたオープンソースで高精度な動的シミュレーションを提示する。このシミュレーションは、線形制御および深層強化学習（DRL）制御器のシミュレーションから実世界への転送を正確に可能にし、垂直飛行および高速旋回タスクにおける実験的飛行性能と一致することを検証した。

ABSTRACT

Insects and hummingbirds exhibit extraordinary flight capabilities and can simultaneously master seemingly conflicting goals: stable hovering and aggressive maneuvering, unmatched by small scale man-made vehicles. Flapping Wing Micro Air Vehicles (FWMAVs) hold great promise for closing this performance gap. However, design and control of such systems remain challenging due to various constraints. Here, we present an open source high fidelity dynamic simulation for FWMAVs to serve as a testbed for the design, optimization and flight control of FWMAVs. For simulation validation, we recreated the hummingbird-scale robot developed in our lab in the simulation. System identification was performed to obtain the model parameters. The force generation, open-loop and closed-loop dynamic response between simulated and experimental flights were compared and validated. The unsteady aerodynamics and the highly nonlinear flight dynamics present challenging control problems for conventional and learning control algorithms such as Reinforcement Learning. The interface of the simulation is fully compatible with OpenAI Gym environment. As a benchmark study, we present a linear controller for hovering stabilization and a Deep Reinforcement Learning control policy for goal-directed maneuvering. Finally, we demonstrate direct simulation-to-real transfer of both control policies onto the physical robot, further demonstrating the fidelity of the simulation.

研究の動機と目的

• フラッピングウィングマイクロエアビークル（FWMAVs）およびバイオインスパイアドフライト・エアビークルのためのアクセス可能で高精度なシミュレーションツールの不足に対処すること。
• 高価な物理的プロトタイプ作成を伴わずに、FWMAVsの迅速な設計最適化および制御アルゴリズム開発を可能にすること。
• 実際のヒューマンバードスケールのロボット上で制御ポリシーのシミュレーションから実世界への転送を直接実施することで、シミュレーションの正確性を検証すること。
• 制御理論、強化学習、生物学的飛行研究のためのベンチマーク環境を提供すること。
• ROSおよびGazeboとの統合を支援し、センシング、局所化、制御に関する高度なロボット工学研究を促進すること。

提案手法

• DART物理エンジンを用いたマルチボディダイナミクスおよび接触モデリングのためのC++ベースのシミュレーションに加え、Pythonバインディングを実装した。
• 物理的ロボットでの力・トルク測定を用いてキャリブレーションされた、カスタマイズされた定常的近似ブレードエレメント理論を用いた空力モデルを実装した。
• 物理的FWMAVにおけるシステム同定を実施し、正確な物理的パラメータ（質量、慣性モーメント、スプリング剛性など）を抽出した。
• 強化学習および制御理論研究へのシームレスな統合を可能にするために、OpenAI Gym互換性を実現した。
• 位置追従のための線形段階的PIDコントローラーと、目的指向の旋回行動を実現するための深層決定的ポリシー勾配（DDPG）ポリシーを設計した。
• DRLトレーニング中にダイナミクスランダム化を適用し、耐障害性を向上させるとともに、シミュレーションから実世界への転送可能性を保証した。

実験結果

リサーチクエスチョン

• RQ1 高精度なシミュレーションは、物理的フラッピングウィングマイクロエアビークルの動的挙動を正確に再現できるか？
• RQ2 シミュレーションでトレーニングされた制御ポリシーは、再調整なしに実世界のFWMAVハードウェアに成功裏に転送できるか？ その程度は？
• RQ3 シミュレーションは、機敏な旋回に不可欠な非定常空力および非線形飛行ダイナミクスをどれほど正確に捉えているか？
• RQ4 シミュレーションは、フラッピング飛行における強化学習ポリシーのトレーニングおよび評価のための信頼できるベンチマークとして機能できるか？
• RQ5 モーターおよび接触ダイナミクスからのタクトイルフィードバックの統合が、シミュレーションにおける制御および計画にどのように寄与するか？

主な発見

• オープンループ状態遷移ダイナミクスにおいて、シミュレーションは実験データと許容範囲内に収まる状態遷移誤差を達成した。
• 調整済みPIDコントローラーを用いたクローズドループ制御では、シミュレーションと実験の間でほぼ同一の性能を示し、全軸においてRMS追従誤差の差が10％未満にとどまった。
• DDPGベースの強化学習ポリシーは、[0,0,0]から[-0.21,0,0]への180°ヨー回転を伴う高速で多軸の旋回行動を学習に成功した。これはヒューマンバードの逃避行動を模倣したものである。
• PIDおよびDRL制御器の両方において、ドメインランダマイゼーションや再調整なしにシミュレーションから実世界への転送に成功し、シミュレーションの正確性を裏付けた。
• 非線形ダイナミクス、特にロールトルクオフセットおよび推力のずれが、シミュレーションおよび実飛行の両方で観測された。
• ROSおよびGazeboとの統合を支援することで、シミュレーションはセンシング、局所化、タクトイルフィードバックモデリングを含む高度なロボット工学研究を可能にした。