[論文レビュー] Aggressive Quadrotor Flight Using Curiosity-Driven Reinforcement Learning

Qiyu Sun, Jinbao Fang+2 more|arXiv (Cornell University)|Mar 26, 2022

Guidance and Control Systems被引用数 4

ひとこと要約

本稿では、類似度ベースのキュリオシティモジュールとブランチ構造探索（BSE）を備えた、好奇心駆動型の深層強化学習手法を提案する。この手法により、事前定義された軌道が不要なエンドツーエンドの攻撃的マルチロトール飛行が可能となる。本手法は学習を加速させ、ポリシーのロバスト性を向上させ、強力なシミュレーションから実世界への転送性を達成しており、スラロームおよび狭い窓を通過するミッションにおけるシミュレーションおよび実世界実験で、ベースラインRL手法および軌道計画に基づく手法を上回る性能を発揮した。

ABSTRACT

The ability to perform aggressive movements, which are called aggressive flights, is important for quadrotors during navigation. However, aggressive quadrotor flights are still a great challenge to practical applications. The existing solutions to aggressive flights heavily rely on a predefined trajectory, which is a time-consuming preprocessing step. To avoid such path planning, we propose a curiosity-driven reinforcement learning method for aggressive flight missions and a similarity-based curiosity module is introduced to speed up the training procedure. A branch structure exploration (BSE) strategy is also applied to guarantee the robustness of the policy and to ensure the policy trained in simulations can be performed in real-world experiments directly. The experimental results in simulations demonstrate that our reinforcement learning algorithm performs well in aggressive flight tasks, speeds up the convergence process and improves the robustness of the policy. Besides, our algorithm shows a satisfactory simulated to real transferability and performs well in real-world experiments.

研究の動機と目的

• 攻撃的マルチロトール飛行ミッションにおける時間のかかる軌道計画の必要性を排除すること。
• 不十分に制御された、高速なマルチロトール制御における強化学習のためのスパarsity報酬問題に対処すること。
• 類似度ベースのキュリオシティモジュールを通じて、学習効率とポリシーのロバスト性を向上させること。
• ブランチ構造探索（BSE）戦略を用いて、シミュレーションから実世界への転送性を向上させること。
• シミュレーションで学習したポリシーを、直接実世界の攻撃的飛行タスクに展開可能にすること。

提案手法

• 類似度ベースのキュリオシティモジュールは、状態（位置および速度）の類似度に基づいて内部報酬を計算し、報酬がスパarsityな環境における探索を促進する。
• 本手法はキュリオシティモジュールをTD3アルゴリズムと統合し、エンドツーエンド制御ポリシー学習を実現する好奇心駆動型TD3エージェントを構築する。
• BSE（ブランチ構造探索）戦略により、複数の行動ブランチを可能にすることで、学習の多様性が向上し、ポリシーの汎化性とロバスト性が向上する。
• 障害物の位置および姿勢を訓練中にランダムにサンプリングすることで、環境への適応性が向上する。
• ポリシーはシミュレーション内でのみ訓練され、実世界実験への直接展開が行われ、ファインチューニングは一切施さない。
• 状態観測にはマルチロトールの位置、速度、障害物の幾何学的形状が含まれ、リアルタイム意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 好奇心駆動型強化学習アプローチは、事前定義された軌道がなくても、攻撃的マルチロトール飛行ポリシーを効果的に学習できるか？
• RQ2 類似度ベースのキュリオシティモジュールは、報酬がスパarsityな攻撃的飛行タスクにおいて、サンプル効率と収束速度をどのように向上させるか？
• RQ3 BSE戦略は、学習済みポリシーのロバスト性およびシミュレーションから実世界への転送性をどの程度向上させるか？
• RQ4 本手法は、軌道計画に基づく手法および標準的なRLベースラインと比較して、性能および転送性においてどのように差をつけるか？
• RQ5 シミュレーションで学習したポリシーは、再訓練なしに実際のマルチロトール上で攻撃的飛行タスクを実行可能か？

主な発見

• スラロームパスミッションにおいて、本手法は平均位置誤差0.044、平均回転誤差2.06°を達成し、非線形追従制御器（0.057および3.17°）およびTD3ベースライン（0.456および5.31°）を上回った。
• 狭い窓通過ミッションでは、本手法は位置誤差0.187 m、回転誤差6.02°を達成し、TD3ベースライン（0.431 mおよび8.81°）を顕著に上回った。
• シミュレーションと実世界の間の位置差は0.12 m、角度差は3.8°であり、シミュレーションと実世界のドメインギャップが存在するにもかかわらず、強力な転送性を示した。
• キュリオシティとBSEの組み合わせにより、標準TD3と比較してシミュレーションから実世界への軌道差が30%低減され、ロバスト性の向上が確認された。
• アブレーションスタディの結果、キュリオシティおよびBSEの両方が独立して性能と転送性を向上させ、フルメソッドが最良の結果を達成した。
• シミュレーションで学習したポリシーは、再訓練なしに実世界環境でも攻撃的飛行タスクを正常に実行でき、直接的なシミュレーションから実世界への展開の有効性が検証された。