[论文解读] DTC: Deep Tracking Control

Fabian Jenelten, Junzhe He+2 more|arXiv (Cornell University)|Sep 27, 2023

Robotic Path Planning Algorithms被引用 1

一句话总结

本文提出 DTC（Deep Tracking Control），一种结合基于模型的轨迹优化与深度强化学习的混合控制框架，可在稀疏且具有挑战性的地形上实现鲁棒、精确的运动。通过在在线轨迹优化生成的优化足部位置上训练深度神经网络策略，DTC 实现了更高的足部放置精度，增强了对滑溜或可变形表面的鲁棒性，并在多种地形类型和优化方法间实现了良好的泛化能力——该方法在仿真和 ANYmal 机器人的实际部署中均得到验证。

ABSTRACT

Legged locomotion is a complex control problem that requires both accuracy and robustness to cope with real-world challenges. Legged systems have traditionally been controlled using trajectory optimization with inverse dynamics. Such hierarchical model-based methods are appealing due to intuitive cost function tuning, accurate planning, generalization, and most importantly, the insightful understanding gained from more than one decade of extensive research. However, model mismatch and violation of assumptions are common sources of faulty operation. Simulation-based reinforcement learning, on the other hand, results in locomotion policies with unprecedented robustness and recovery skills. Yet, all learning algorithms struggle with sparse rewards emerging from environments where valid footholds are rare, such as gaps or stepping stones. In this work, we propose a hybrid control architecture that combines the advantages of both worlds to simultaneously achieve greater robustness, foot-placement accuracy, and terrain generalization. Our approach utilizes a model-based planner to roll out a reference motion during training. A deep neural network policy is trained in simulation, aiming to track the optimized footholds. We evaluate the accuracy of our locomotion pipeline on sparse terrains, where pure data-driven methods are prone to fail. Furthermore, we demonstrate superior robustness in the presence of slippery or deformable ground when compared to model-based counterparts. Finally, we show that our proposed tracking controller generalizes across different trajectory optimization methods not seen during training. In conclusion, our work unites the predictive capabilities and optimality guarantees of online planning with the inherent robustness attributed to offline learning.

研究动机与目标

• 解决纯基于模型控制的局限性，例如在真实环境中因模型失配或假设不成立而导致的敏感性问题。
• 克服在稀疏地形（如间隙和踏石）上足式运动强化学习中的稀疏奖励问题。
• 开发一种统一的控制策略，使其在不同轨迹优化方法和地形类型间具备泛化能力。
• 实现在仿真和真实世界部署中高精度的足部放置与鲁棒恢复能力，且无需进行 sim-to-real 域随机化。

提出的方法

• 基于模型的轨迹优化器在策略推理期间实时生成参考运动和足部位置。
• 在仿真中训练深度神经网络策略，以跟踪由优化器生成的足部位置，使用源自模仿优化器行为的密集奖励。
• 采用包含 12 种地形类型和 10 个难度等级的 1200 种可区分地形图块的地形课程进行训练，以实现广泛的泛化能力。
• 仅在足部触地时（每 0.465 秒）更新优化器，降低计算负载并防止策略产生“偷懒”行为。
• 当机器人跌倒、被推或改变指令时，系统会重新计算优化轨迹，确保在动态场景中保持有效性。
• 在训练期间向关节位置观测中注入噪声，以模拟并缓解真实部署中的高度漂移问题。

实验结果

研究问题

• RQ1 深度强化学习策略是否能在如间隙和踏石等稀疏地形上实现高精度足部放置，即使稀疏奖励会阻碍学习？
• RQ2 与纯基于模型的方法相比，所提出的混合架构在应对滑溜或可变形地面等环境不确定性时，其鲁棒性如何提升？
• RQ3 在未见的轨迹优化方法上，训练好的策略能多大程度上实现泛化？
• RQ4 该策略是否能在极少 sim-to-real 域随机化的情况下实现高性能？其所需的训练吞吐量是多少？

主要发现

• DTC 策略在仅训练一天（6000 个 epoch）后即达到峰值性能的 90%，并在两周（90000 个 epoch）后完全收敛。
• 该策略在不同轨迹优化方法间具有泛化能力，包括训练期间未见过的方法，表现出强大的可迁移性。
• 系统在滑溜和可变形地形上表现出更优的鲁棒性，其故障恢复能力和稳定性优于基于模型的基线方法。
• 该方法在如间隙和踏石等稀疏地形上保持了高足部放置精度，而纯数据驱动方法通常在此类场景下会失效。
• 尽管每天生成相当于 1.6 年的优化轨迹，其训练吞吐量仅比基线强化学习方法低 1.7 倍，表明具有很高的计算效率。
• 该策略成功部署在三种不同类型的 ANYmal 机器人变体（C 和 D 型）上，运行频率为 50 Hz，且无需微调，证实了强大的 sim-to-real 转移能力。