[論文レビュー] DATT: Deep Adaptive Trajectory Tracking for Quadrotor Control

Kevin Huang, Rwik Rana+3 more|arXiv (Cornell University)|Oct 13, 2023

Adaptive Dynamic Programming Control被引用数 7

ひとこと要約

DATTは、フィードフォワード・フィードバック・アダプティブ構造と$ι_1$アダプティブ制御を組み合わせた深層強化学習ベースの制御フレームワークを提案し、クアッドローターにおける正確な軌道追従を実現する。実環境の風圧下でも滑らかな軌道および非実行可能な軌道の両方において、ベースラインと比較して34–54%低い追従誤差を達成しており、推論遅延は3.2 ms未満、未学習の乱流環境に対してもゼロショット一般化を実現する。

ABSTRACT

Precise arbitrary trajectory tracking for quadrotors is challenging due to unknown nonlinear dynamics, trajectory infeasibility, and actuation limits. To tackle these challenges, we present Deep Adaptive Trajectory Tracking (DATT), a learning-based approach that can precisely track arbitrary, potentially infeasible trajectories in the presence of large disturbances in the real world. DATT builds on a novel feedforward-feedback-adaptive control structure trained in simulation using reinforcement learning. When deployed on real hardware, DATT is augmented with a disturbance estimator using L1 adaptive control in closed-loop, without any fine-tuning. DATT significantly outperforms competitive adaptive nonlinear and model predictive controllers for both feasible smooth and infeasible trajectories in unsteady wind fields, including challenging scenarios where baselines completely fail. Moreover, DATT can efficiently run online with an inference time less than 3.2 ms, less than 1/4 of the adaptive nonlinear model predictive control baseline

研究の動機と目的

• 未知の非線形ダイナミクス、制御入力制限、外部の摂動が存在する状況下でのクアッドローターの正確な軌道追従の課題に対処すること。
• 従来の微分平坦制御器がカバーできない、特に急転回や高カーブのパスを含む任意の非実行可能な軌道の正確な追従を可能にすること。
• 微調整なしで未知の時間変動型摂動（例：突風、ドラッグプレート）にロバストに適応することを可能にし、ゼロショットのシミュレーションから実環境への一般化を実現すること。
• 推論遅延が3.2 ms未満というリアルタイム性能を維持しながら、計算コストの高いモデル予測制御（MPC）ベースラインを上回ること。
• 学習ベースの制御と閉ループ$ι_1$アダプティブ制御を統合することで、実環境での実装における摂動抑制と安定性を向上させること。

提案手法

• シミュレーション内で深層強化学習（PPO）を用いて訓練された、新規のフィードフォワード・フィードバック・アダプティブポリシー構造を設計し、真の並進方向の摂動を条件として用いる。
• トレーニング中にシミュレーテッド摂動モデルを監視信号として用い、ポリシーが外部力に対処できるように学習させる。
• 実機にポリシーをデプロイし、再トレーニングなしでリアルタイムの摂動を推定・抑制するため、閉ループ$ι_1$アダプティブ制御推定器を統合する。
• $ι_1$推定器をフィードバックループに統合し、モデル化されていないダイナミクスや時間変動型摂動（例：風圧、ドラッグプレート）を補正する。
• 学習の安定化のため、最初の250万ステップは軌道リファレンスを固定し、追従精度を最優先とする報酬形状戦略を用いてポリシーを訓練する。
• 未知の状態依存力（シミュレーションに存在しない）に対してもロバストであるように、$ι_1$アダプティブ制御構造を用いてオンラインで摂動を推定する。

Figure 1: Trajectory visualizations for example infeasible trajectories. (a-c) Long-exposure photos of different methods for an equilateral triangle reference trajectory. (d) Long-exposure photo of our method for a five-pointed star reference trajectory. (e) Quantitative comparisons between our appr

実験結果

リサーチクエスチョン

• RQ1 シミュレーションで訓練された学習ベースの制御器が、微調整なしで実環境の摂動下でも非実行可能な軌道のリアルタイム追従を達成できるか？
• RQ2 深層強化学習ポリシーと$ι_1$アダプティブ制御を統合することで、単独のアダプティブ制御やMPC制御と比較して、摂動抑制性能がどのように向上するか？
• RQ3 シミュレーションにモデル化されていない高動的で状態依存の摂動（例：風圧、ドラッグプレート）に対し、ポリシーがゼロショットでどの程度一般化できるか？
• RQ4 アグレッシブな軌道下で、DATTとアダプティブ非線形制御およびMPCベースラインを比較した場合、追従精度と計算コストのトレードオフはどのようになるか？
• RQ5 従来の制御器が失敗するような制御入力制限や高カーブの操舵において、提案されたアーキテクチャは安定性と性能を維持できるか？

主な発見

• 滑らかで実行可能な軌道において、DATTはアダプティブ非線形およびアダプティブMPCベースラインと比較して、追従誤差を34–36%低減した。
• 非実行可能な軌道（例：五芒星）において、DATTはMPCと比較して54%低い誤差を達成し、計算時間は1/4にまで削減された一方、非線形ベースラインは完全に失敗した。
• ドラッグプレートを伴う強風環境下でも、DATTは最先端のアダプティブ非線形制御器と比較して、滑らかな軌道で48%低い誤差を達成した。
• 風圧とドラッグプレートを伴う非実行可能な軌道において、DATTはアダプティブMPCと比較して誤差を34%低減したが、計算コストは1/4にまで削減された。
• DATTは推論遅延を3.2 ms未満に維持しており、軽量ハードウェア（Crazyflie 2.1）上でのリアルタイムデプロイが可能である。
• $ι_1$アダプティブ制御の統合により、RMAベースの適応と比較して顕著な性能向上が得られた。これは、シミュレーションから実環境への移行において、ロバストな摂動推定の重要性を示している。

Figure 2: Algorithm Overview. Blue, yellow, and green blocks represent feedforward, feedback, and adaptation modules respectively. In training the policy has access to the true disturbance $\bm{d}$ whereas in real we use $\mathcal{L}_{1}$ adaptive control to get the disturbance estimation $\hat{\bm{