[論文レビュー] Data-Efficient Deep Reinforcement Learning for Attitude Control of Fixed-Wing UAVs: Field Experiments

Eivind Bøhn, Erlend M. Coates+2 more|arXiv (Cornell University)|Nov 7, 2021

Adaptive Control of Nonlinear Systems被引用数 4

ひとこと要約

本論文では、固定翼UAVの姿勢制御のためのデータ効率の良い深層強化学習（DRL）手法を提示する。本手法は、実飛行データをたった3分間のみ用いてシミュレーションで制御器を学習し、オンラインのファインチューニングを経ずにそのまま実世界の飛行に直接移行可能である。本手法は、制御遅延、ダイナミクスの多様性、滑らかさ正則化といったシミュレーションから実世界への移行技術を活用することで、最先端のArduPlane PIDコントローラーと同等の性能を達成し、安定的で振動の少ない制御応答を実現した。

ABSTRACT

Attitude control of fixed-wing unmanned aerial vehicles (UAVs) is a difficult control problem in part due to uncertain nonlinear dynamics, actuator constraints, and coupled longitudinal and lateral motions. Current state-of-the-art autopilots are based on linear control and are thus limited in their effectiveness and performance. Deep reinforcement learning (DRL) is a machine learning method to automatically discover optimal control laws through interaction with the controlled system, which can handle complex nonlinear dynamics. We show in this paper that DRL can successfully learn to perform attitude control of a fixed-wing UAV operating directly on the original nonlinear dynamics, requiring as little as three minutes of flight data. We initially train our model in a simulation environment and then deploy the learned controller on the UAV in flight tests, demonstrating comparable performance to the state-of-the-art ArduPlane proportional-integral-derivative (PID) attitude controller with no further online learning required. Learning with significant actuation delay and diversified simulated dynamics were found to be crucial for successful transfer to control of the real UAV. In addition to a qualitative comparison with the ArduPlane autopilot, we present a quantitative assessment based on linear analysis to better understand the learning controller's behavior.

研究の動機と目的

• 広範な実世界データに依存しない、固定翼UAVの姿勢制御のためのデータ効率の良い深層強化学習コントローラーの開発を目的とする。
• シミュレーションから実世界へのギャップを埋えるために、シミュレートされた制御遅延とダイナミクスの変動を用いて学習された方策を強化する。
• オンラインのファインチューニングや再トレーニングを経ずに、DRLコントローラーを実UAVハードウェアに直接デプロイ可能にする。
• 非線形的かつ結合的で、アンダーアクチュエートなダイナミクスを扱う中で、最先端の線形PIDコントローラーと同等またはそれ以上の性能を達成する。

提案手法

• コントローラーは、スカイウォーカーX8固定翼UAVの非線形ダイナミクスをモデル化した高精度なシミュレーション環境で、ソフトアクターキャリブレーター（SAC）アルゴリズムを用いてトレーニングされた。
• 状態表現には、過去の状態のシーケンスを処理する畳み込み入力層が含まれており、時間的認識能力が向上し、制御の滑らかさが向上する。
• トレーニング環境では、実世界の不確実性を模倣するために、顕著な制御遅延と多様な空力パラメータが導入され、耐性性が向上した。
• スパarsely denseな報酬が使用され、制御行動の攻撃的さをペナルティ化するとともに、制御信号の時間的および空間的滑らかさを促進する追加項が導入された。
• ポリシーはシミュレーションデータのみでトレーニングされ、学習中にリアルタイムの相互作用は一切行われず、実UAVに直接デプロイされた。
• ドメインランダマイゼーションや遅延注入を含む、シミュレーションから実世界への移行技術が採用され、現実世界とのギャップを埋め、現地での利用可能性を確保した。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションデータのみでトレーニングされたDRLコントローラーが、最小限の実世界データを用いても、実固定翼UAVで安定的かつ高性能な姿勢制御を達成できるか？
• RQ2 シミュレーションから実飛行への移行を成功させるために、具体的にどのシミュレーションから実世界への技術が最も有効か？
• RQ3 入力表現に状態履歴と畳み込み処理を組み込むことで、コントローラーの性能と滑らかさにどのような影響が生じるか？
• RQ4 非線形的かつ結合的UAVダイナミクスにおいて、DRLが既存の線形PIDコントローラーを上回るか、同等の性能を達成できるか、その程度は？
• RQ5 データ効率性が、シミュレーションモデルへの過剰適合を低減し、実世界への一般化を向上させる役割を果たすか？

主な発見

• DRLコントローラーは、オンラインの適応やファインチューニングを一切行わずに、実飛行テストにおいてArduPlane PIDコントローラーと同等の安定的で高い性能を達成した。
• 10,000トレーニングタイムステップ（約3分間の実飛行データに相当）の後で、飛行可能であることが確認され、高いデータ効率性が示された。
• 畳み込み入力層を備えたベースモデルは、約40,000タイムステップ（約13分間の実飛行データに相当）で収束し、完全結合ベースラインと比較して比例ゲインが著しく低く、滑らかさ指標が50%も向上した。
• 1つの過去状態（h=1）と完全結合入力のみを用いたモデルは、UAVの安定化に失敗した。これは、時間的状態履歴の重要性を示している。
• トレーニング中に制御遅延とダイナミクスの変動を組み込むことが、シミュレーションから実世界への成功した移行と耐性性の確保に不可欠であった。
• コントローラーはFCベースラインよりも滑らかな制御信号と姿勢応答を生成し、システムダイナミクスのより優れた扱いと振動の低減を示した。