[论文解读] A Direct Shooting Method is Equivalent to an Indirect Method

I. Michael Ross|arXiv (Cornell University)|Mar 5, 2020

Spacecraft Dynamics and Control参考文献 30被引用 4

一句话总结

本文通过一阶必要条件，建立了直接打靶法与间接法在最优控制中的数学等价性，表明直接法本质上内嵌了间接法的元素。核心贡献是共向量映射原理，该原理解释了为何标准非线性规划求解器在轨迹优化问题中会失效，除非保持哈密顿结构，进而通过哈密顿编程提供改进收敛性与准确性的解决方案。

ABSTRACT

We show that a direct shooting method is mathematically equivalent to an indirect method in the sense of certain first-order conditions. Specific mathematical formulas pertaining to the equivalence of a direct shooting method with an indirect method are derived. We also show that a theoretical equivalence does not necessarily translate to practical equivalence if the parameterized optimal control problem is simply patched to a nonlinear programming solver. A mathematical explanation is provided for the successes and failures of such patched nonlinear programming methods. In order to generate the correct solution more consistently, the nonlinear programming solver used in a traditional direct method must be replaced or augmented by a Hamiltonian programming method. The theoretical results derived in this paper further strengthen the connections between computational optimal control, deep learning and automatic differentiation.

研究动机与目标

• 解决直接法与间接法在最优控制中长期存在的认知分歧。
• 解释为何将经典直接法与通用非线性规划求解器结合时会出现计算失败。
• 证明直接打靶法在第一阶最优性条件中隐藏了底层的间接法元素。
• 倡导用哈密顿编程技术替代标准NLP求解器，以实现可靠的收敛性与准确性。
• 通过共向量映射原理，加强最优控制、深度学习与自动微分之间的理论联系。

提出的方法

• 通过庞特里亚金最大值原理的一阶必要条件，推导出直接打靶法与间接法之间的数学等价性。
• 应用前向/后向欧拉离散化方法，揭示直接法中协态的梯度对应于间接法中的伴随变量。
• 提出共向量映射原理作为统一框架，通过哈密顿结构连接直接法与间接法。
• 分析离散化梯度中步长h的影响，表明在标准实现中忽略h会导致最优性条件错误。
• 揭示梯度条件 ∂E^N/∂u_k = ∂H/∂u_k（公式70）是通用梯度条件的特例，且是深度学习中反向传播与反向模式自动微分的基础。
• 提出应以保持最优控制问题底层结构的哈密顿编程方法，替代通用NLP求解器。

实验结果

研究问题

• RQ1 在最优控制中，直接打靶法与间接法之间是否存在根本性的数学等价性？
• RQ2 为何即使在理论上等价，标准直接法在与通用非线性规划求解器结合时仍会失效？
• RQ3 步长h在离散化最优控制问题的梯度计算中扮演何种角色？
• RQ4 共向量映射原理如何通过统一的理论框架将直接法与间接法联系起来？
• RQ5 哈密顿编程能否提升轨迹优化与深度学习中的收敛性与准确性？

主要发现

• 通过共向量映射原理的推导，证明直接打靶法在第一阶必要条件范围内与间接法数学等价。
• 经典直接法在与NLP求解器结合时的失效，源于梯度计算中缺乏哈密顿结构，特别是协态梯度中忽略了步长h。
• 公式（70）∂E^N/∂u_k = ∂H/∂u_k 是通用梯度条件的特例，且是深度学习中反向传播的基础。
• 理论等价性并不意味着计算等价性，除非在数值实现中保持底层哈密顿结构。
• 哈密顿编程方法通过共向量映射原理正确映射原变量与对偶变量，显著优于标准NLP求解器，在收敛性与准确性方面表现更优。
• 本文的标志性最优控制问题在结构上与深度学习中的损失最小化问题完全相同，暗示这些领域共享相同的优化原理。