[论文解读] A Direct-Indirect Hybridization Approach to Control-Limited DDP.

Carlos Mastalli, Wolfgang Merkt+4 more|arXiv (Cornell University)|Oct 1, 2020

Prosthetics and Rehabilitation Robotics参考文献 43被引用 13

一句话总结

本文提出Box-FDDP，一种将控制受限的微分动态规划（DDP）与直接-间接方法相结合的混合方法，通过在前向和后向传递中整合可行性保障和控制限处理，提升了数值收敛性和计算效率。该方法在具有长时域和严格约束的复杂最优控制问题上，相较于Box-DDP和挤压函数方法表现出更优性能。

ABSTRACT

Optimal control is a widely used tool for synthesizing motions and controls for user-defined tasks under physical constraints. A common approach is to formulate it using direct multiple-shooting and then to use off-the-shelf nonlinear programming solvers that can easily handle arbitrary constraints on the controls and states. However, these methods are not fast enough for many robotics applications such as real-time humanoid motor control. Exploiting the sparse structure of optimal control problem, such as in Differential DynamicProgramming (DDP), has proven to significantly boost the computational efficiency, and recent works have been focused on handling arbitrary constraints. Despite that, DDP has been associated with poor numerical convergence, particularly when considering long time horizons. One of the main reasons is due to system instabilities and poor warm-starting (only controls). This paper presents control-limited Feasibility-driven DDP (Box-FDDP), a solver that incorporates a direct-indirect hybridization of the control-limited DDP algorithm. Concretely, the forward and backward passes handle feasibility and control limits. We showcase the impact and importance of our method on a set of challenging optimal control problems against the Box-DDP and squashing-function approach.

研究动机与目标

• 解决在长时域最优控制问题中，控制限导致DDP数值收敛性差的问题。
• 克服标准DDP和直接多 shooting 方法在实时机器人应用中的局限性。
• 通过结合直接与间接最优控制策略，改进热启动和可行性处理。
• 开发一种鲁棒求解器，在复杂控制与状态约束下保持约束满足性和计算效率。

提出的方法

• 通过在前向和后向传递中整合可行性保障，将直接多 shooting 方法与间接DDP相结合。
• 在后向传递中使用框约束公式显式处理控制限，以在整个迭代过程中保持可行性。
• 前向传递中引入可行性校正，以在轨迹优化早期阶段解决约束违反问题。
• 该算法利用最优控制问题的稀疏结构，在提升收敛性的同时保持计算效率。
• 通过同时传播状态和控制轨迹，增强热启动，提高后续迭代的初始猜测质量。
• 该方法避免使用惩罚函数或挤压函数，后者可能降低收敛性并引入数值不稳定性。

实验结果

研究问题

• RQ1 直接-间接混合方法如何提升控制受限DDP在长时域问题中的收敛性？
• RQ2 在前向和后向传递中整合可行性保障对数值稳定性有何影响？
• RQ3 Box-FDDP与Box-DDP及基于挤压函数的方法相比，在收敛速度和约束满足性方面表现如何？
• RQ4 在后向传递中显式处理控制限是否能带来更好的热启动和更少的迭代次数？
• RQ5 该混合方法在保持计算效率的同时，是否能在严格控制与状态约束下提升鲁棒性？

主要发现

• 与标准Box-DDP相比，Box-FDDP在长时域下表现出显著改善的数值收敛性。
• 该方法在收敛速度和约束满足性方面优于基于挤压函数的方法，后者常导致次优解。
• 在前向和后向传递中显式处理控制限可减少约束违反，提升轨迹可行性。
• 通过保持DDP的稀疏结构，混合公式在提升鲁棒性的同时维持了计算效率。
• 该求解器在具有严格控制边界和复杂动力学的挑战性最优控制问题上表现更优。
• 由于状态和控制轨迹的联合传播，热启动性能显著提升，收敛所需迭代次数减少。