[论文解读] Differential Dynamic Programming for Nonlinear Dynamic Games

Bolei Di, Andrew Lamperski|arXiv (Cornell University)|Sep 21, 2018

Extremum Seeking Control Systems参考文献 16被引用 7

一句话总结

该论文通过为每个代理的值函数建立二次近似，将微分动态规划（DDP）扩展至非零和完全信息动态博弈，递归求解得到的静态二次博弈。该方法继承了牛顿法的二次收敛性，并在严格纳什均衡附近被证明以二次速率局部收敛。

ABSTRACT

Dynamic games arise when multiple agents with differing objectives choose control inputs to a dynamic system. Dynamic games model a wide variety of applications in economics, defense, and energy systems. However, compared to single-agent control problems, the computational methods for dynamic games are relatively limited. As in the single-agent case, only very specialized dynamic games can be solved exactly, and so approximation algorithms are required. This paper extends the differential dynamic programming algorithm from single-agent control to the case of non-zero sum full-information dynamic games. The method works by computing quadratic approximations to the dynamic programming equations. The approximation results in static quadratic games which are solved recursively. Convergence is proved by showing that the algorithm iterates sufficiently close to iterates of Newton's method to inherit its convergence properties. A numerical example is provided.

研究动机与目标

• 解决多智能体在目标冲突下求解非线性动态博弈的高效计算方法缺乏的问题。
• 将原本专为单智能体最优控制设计的微分动态规划（DDP）框架扩展至非零和动态博弈。
• 开发一种递归算法，用于计算有限horizon确定性非线性动态博弈中的局部纳什均衡。
• 通过将DDP迭代与动态博弈中牛顿法的联系，证明该算法的二次收敛性。
• 在非线性主人-狗追逐问题上验证该方法，通过数值实验验证收敛行为。

提出的方法

• 将动态博弈建模为具有N个智能体的有限horizon最优控制问题，每个智能体最小化依赖于所有智能体控制的自身代价函数。
• 在每个时间步对每个智能体的代价函数和值函数进行二次近似，从而得到博弈动态的局部二次近似。
• 在每次迭代中，通过近似代价函数和动态，求解一个静态二次博弈，利用耦合的里卡蒂型方程完成反向传播。
• 通过前向传播，基于计算出的反馈策略和梯度更新控制轨迹。
• 通过证明DDP迭代与纳什均衡必要条件的牛顿法迭代紧密跟踪，建立收敛性。
• 利用递归牛顿型更新和误差传播分析，证明DDP迭代在严格局部纳什均衡附近呈二次收敛。

实验结果

研究问题

• RQ1 在单智能体最优控制中有效的DDP算法，能否推广至具有多个智能体的非零和动态博弈？
• RQ2 如何利用值函数的二次近似构造一种可计算的迭代算法，以求解非线性动态博弈中的纳什均衡？
• RQ3 在何种条件下可确保所提出的基于DDP的算法收敛至局部纳什均衡？
• RQ4 在动态博弈背景下，DDP迭代在多大程度上类似于牛顿法迭代？
• RQ5 该算法在具有非平凡智能体间耦合的实用非线性动态博弈示例中表现如何？

主要发现

• 所提出的DDP算法在严格局部纳什均衡附近呈二次收敛，继承了牛顿法的收敛特性。
• DDP与牛顿迭代之间的差异被有界为$ O(\rho^2) $，其中$ \rho $ 衡量与均衡的距离，确保快速的局部收敛。
• 在1D主人-狗动态博弈上的数值结果表明，双方的累积代价随迭代次数减少，当前输入与均衡输入之间的2-范数误差在对数尺度上呈次线性下降——这是二次收敛的证据。
• 该算法成功计算出狗学习保持靠近主人、主人则调整输入以抵达目标的轨迹，展示了协调行为。
• 该方法需要完全信息（所有智能体的动作）和显式模型知识，可实现有限horizon均衡计算，与稳态方法不同。
• 该算法在原则上具有可扩展性，未来可扩展至随机博弈和不完全信息问题，但大规模数值性能仍有待探索。