[论文解读] DATT: Deep Adaptive Trajectory Tracking for Quadrotor Control

Kevin Huang, Rwik Rana+3 more|arXiv (Cornell University)|Oct 13, 2023

Adaptive Dynamic Programming Control被引用 7

一句话总结

DATT 提出了一种基于深度强化学习的控制框架，结合前馈-反馈-自适应架构与 $ι_1$ 自适应控制，实现四旋翼飞行器在真实风扰动下对精确轨迹的跟踪。在平滑轨迹和不可行轨迹上，其跟踪误差比基线方法低 34–54%，推理时间低于 3.2 毫秒，并实现了对未见湍流的零样本泛化能力。

ABSTRACT

Precise arbitrary trajectory tracking for quadrotors is challenging due to unknown nonlinear dynamics, trajectory infeasibility, and actuation limits. To tackle these challenges, we present Deep Adaptive Trajectory Tracking (DATT), a learning-based approach that can precisely track arbitrary, potentially infeasible trajectories in the presence of large disturbances in the real world. DATT builds on a novel feedforward-feedback-adaptive control structure trained in simulation using reinforcement learning. When deployed on real hardware, DATT is augmented with a disturbance estimator using L1 adaptive control in closed-loop, without any fine-tuning. DATT significantly outperforms competitive adaptive nonlinear and model predictive controllers for both feasible smooth and infeasible trajectories in unsteady wind fields, including challenging scenarios where baselines completely fail. Moreover, DATT can efficiently run online with an inference time less than 3.2 ms, less than 1/4 of the adaptive nonlinear model predictive control baseline

研究动机与目标

• 解决在未知非线性动力学、执行器限制和外部扰动下，四旋翼飞行器精确轨迹跟踪的挑战。
• 实现对任意轨迹（尤其是急转弯或高曲率路径）的精确跟踪，超越传统微分平坦控制器的能力范围。
• 在无需微调的情况下，实现对未知时变扰动（如阵风、阻力板）的鲁棒自适应，通过零样本仿真到真实世界的泛化能力。
• 在保持低于 3.2 毫秒的推理延迟下实现实时性能，同时优于计算量大的模型预测控制（MPC）基线方法。
• 将基于学习的控制与闭环 $ι_1$ 自适应控制相结合，提升真实部署中对扰动的抑制能力和稳定性。

提出的方法

• 在仿真环境中通过深度强化学习（PPO）训练一种新型前馈-反馈-自适应策略架构，条件输入为真实位移扰动。
• 在训练期间使用仿真扰动模型作为监督信号，使策略能够学习补偿外部作用力。
• 将策略部署于真实硬件，并通过闭环 $ι_1$ 自适应控制估计器增强其能力，实现实时扰动估计与抑制，无需重新训练。
• 将 $ι_1$ 估计器集成到反馈回路中，以校正未建模的动力学和时变扰动（如风和阻力板）。
• 采用奖励塑形策略训练策略，优先考虑轨迹跟踪精度并惩罚偏差，前 250 万步保持轨迹参考不变以稳定学习过程。
• 利用 $ι_1$ 自适应控制结构在线估计扰动，实现对仿真中未包含的、与状态相关的未知作用力的鲁棒性。

Figure 1: Trajectory visualizations for example infeasible trajectories. (a-c) Long-exposure photos of different methods for an equilateral triangle reference trajectory. (d) Long-exposure photo of our method for a five-pointed star reference trajectory. (e) Quantitative comparisons between our appr

实验结果

研究问题

• RQ1 在未微调的情况下，基于学习的控制器是否能在仿真中训练后，实现在真实世界扰动下对不可行轨迹的鲁棒、实时轨迹跟踪？
• RQ2 将 $ι_1$ 自适应控制与深度强化学习策略结合，相比独立的自适应或 MPC 控制器，能否显著提升扰动抑制能力？
• RQ3 该策略在未见的、高度动态且与状态相关的扰动（如风和阻力板）下，能否实现零样本泛化，且这些扰动在仿真中未被建模？
• RQ4 在高动态轨迹下，与自适应非线性及 MPC 基线方法相比，DATT 在跟踪精度与计算成本之间存在何种权衡？
• RQ5 在传统控制器失效的执行器限制和高曲率机动场景下，所提出的架构是否仍能保持稳定性和性能？

主要发现

• 在平滑可行轨迹上，DATT 相较于自适应非线性与自适应 MPC 基线，将跟踪误差降低了 34–36%。
• 在不可行轨迹（如五角星）上，DATT 的误差比 MPC 低 54%，计算时间仅为其 1/4，而非线性基线方法完全失效。
• 在高风速场景下使用阻力板时，DATT 在平滑轨迹上的误差比最先进的自适应非线性控制器低 48%。
• 在风和阻力板共同作用的不可行轨迹上，DATT 相较于自适应 MPC 将误差降低 34%，同时计算成本仅为后者的 1/4。
• DATT 保持推理延迟低于 3.2 毫秒，支持在轻量化硬件（Crazyflie 2.1）上实时部署。
• 将 $ι_1$ 自适应控制与 RMA 基础自适应方法相比，性能显著提升，凸显了在仿真到真实世界迁移中鲁棒扰动估计的重要性。

Figure 2: Algorithm Overview. Blue, yellow, and green blocks represent feedforward, feedback, and adaptation modules respectively. In training the policy has access to the true disturbance $\bm{d}$ whereas in real we use $\mathcal{L}_{1}$ adaptive control to get the disturbance estimation $\hat{\bm{