[论文解读] DiffTune: Auto-Tuning through Auto-Differentiation

Cheng Sheng, Minkyung Kim+5 more|arXiv (Cornell University)|Sep 20, 2022

Iterative Learning Control Systems被引用 7

一句话总结

DiffTune 是一种基于梯度的自动调参框架，通过将动力学系统和控制器展开为计算图，利用自动微分优化控制器参数，从而实现非线性控制器的高效且稳定调参。在四旋翼飞行器实验中，DiffTune 在12维参数空间中经过10次试验，将跟踪误差降低了3.5倍，通过有效利用一阶梯度信息和 $π$-自适应控制来补偿不确定性，优于当前最先进方法。

ABSTRACT

The performance of robots in high-level tasks depends on the quality of their lower-level controller, which requires fine-tuning. However, the intrinsically nonlinear dynamics and controllers make tuning a challenging task when it is done by hand. In this paper, we present DiffTune, a novel, gradient-based automatic tuning framework. We formulate the controller tuning as a parameter optimization problem. Our method unrolls the dynamical system and controller as a computational graph and updates the controller parameters through gradient-based optimization. The gradient is obtained using sensitivity propagation, which is the only method for gradient computation when tuning for a physical system instead of its simulated counterpart. Furthermore, we use $\mathcal{L}_1$ adaptive control to compensate for the uncertainties (that unavoidably exist in a physical system) such that the gradient is not biased by the unmodelled uncertainties. We validate the DiffTune on a Dubin's car and a quadrotor in challenging simulation environments. In comparison with state-of-the-art auto-tuning methods, DiffTune achieves the best performance in a more efficient manner owing to its effective usage of the first-order information of the system. Experiments on tuning a nonlinear controller for quadrotor show promising results, where DiffTune achieves 3.5x tracking error reduction on an aggressive trajectory in only 10 trials over a 12-dimensional controller parameter space.

研究动机与目标

• 解决高维参数空间下非线性机器人控制器手动调参效率低且不稳定的挑战。
• 开发一种稳定、兼容物理系统数据且适用于实时部署的自动调参框架。
• 即使系统模型不完善或存在不确定性，也能利用自动微分实现控制器参数的基于梯度的优化。
• 集成 $π$-自适应控制以补偿未建模的动力学，防止物理系统中梯度偏差的产生。
• 在复杂机器人任务中，与现有基于模型和无模型的自动调参方法相比，展示出更优的性能和效率。

提出的方法

• 通过将动力学系统和控制器展开为计算图，将控制器调参问题形式化为参数优化问题。
• 利用自动微分和敏感性传播，计算性能损失（如跟踪误差）相对于控制器参数的梯度。
• 基于计算出的梯度，应用梯度下降法迭代更新控制器参数。
• 集成 $π$-自适应控制以稳定系统，并在调参过程中减轻未建模不确定性带来的偏差。
• 通过利用PID、MPC或LQR等易于通过隐函数定理进行隐式微分的结构，确保控制器的可微性。
• 采用基于10秒时间窗内位置跟踪误差平方范数的损失函数，并加入过程噪声以模拟真实世界条件。

实验结果

研究问题

• RQ1 通过自动微分实现的基于梯度的自动调参，是否能在性能和效率上优于现有的无模型和基于模型的自动调参方法？
• RQ2 在存在未建模系统不确定性的情况下，$π$-自适应控制的集成如何影响梯度稳定性和调参性能？
• RQ3 DiffTune 在少量试验次数内，能在高维控制器参数空间（如12维）中将跟踪误差降低到何种程度？
• RQ4 学习率如何影响DiffTune优化过程中的收敛性和稳定性？
• RQ5 DiffTune 是否能在无需重新调参的情况下，泛化到多种多样的高动态轨迹上？

主要发现

• 在四旋翼飞行器上，DiffTune 仅通过10次试验，在12维参数空间中便将复杂3D“8”字轨迹的跟踪误差降低了3.5倍。
• 该方法在收敛速度和最终性能上均优于当前最先进的自动调参基线方法，包括AutoTune和SafeOpt-PSO。
• 消融实验表明，学习率显著影响收敛性：较高的学习率（如0.1）导致在最小值附近振荡，而较低的学习率（0.001）则实现更平滑但更慢的收敛。
• 集成 $π$-自适应控制提升了鲁棒性，表现为在放宽参数以应对不确定性时，调参过程依然保持稳定。
• DiffTune 展现出强大的泛化能力，可在无需重新调参的情况下适用于多种轨迹，包括2D和3D圆弧轨迹以及垂直的“8”字轨迹。
• 计算图展开保留了可解释性，使DiffTune与纯粹的黑箱学习方法区分开来。