[论文解读] First-Order Algorithms for Constrained Nonlinear Dynamic Games

Bolei Di, Andrew Lamperski|arXiv (Cornell University)|Jan 7, 2020

Optimization and Variational Analysis参考文献 21被引用 4

一句话总结

该论文提出了一阶算法——投影梯度法与Douglas-Rachford分裂法——用于计算具有线性收敛速率的约束非线性动态博弈中的开环纳什均衡（OLNE）。通过将逐阶段牛顿法扩展至局部反馈策略，证明在满足线性动态和多面体约束条件下，该方法可生成近似反馈纳什均衡，从而高效求解具有耦合约束的多智能体控制问题。

ABSTRACT

This paper presents algorithms for non-zero sum nonlinear constrained dynamic games with full information. Such problems emerge when multiple players with action constraints and differing objectives interact with the same dynamic system. They model a wide range of applications including economics, defense, and energy systems. We show how to exploit the temporal structure in projected gradient and Douglas-Rachford (DR) splitting methods. The resulting algorithms converge locally to open-loop Nash equilibria (OLNE) at linear rates. Furthermore, we extend stagewise Newton method to find a local feedback policy around an OLNE. In the of linear dynamics and polyhedral constraints, we show that this local feedback controller is an approximated feedback Nash equilibrium (FNE). Numerical examples are provided.

研究动机与目标

• 开发可扩展的数值算法，用于求解具有完整信息的约束非零和动态博弈。
• 利用一阶方法中的时序结构，实现每步迭代复杂度为O(T)，其中T为时域长度。
• 通过逐阶段牛顿法将开环纳什均衡计算扩展至局部反馈策略。
• 建立结果反馈策略近似为反馈纳什均衡（FNE）的条件，特别是针对线性动态和多面体约束的情形。
• 通过数值实例验证收敛性和性能表现，包括一个带有噪声的生物量管理博弈和一个三玩家线性二次 rendezvous问题。

提出的方法

• 通过在梯度下降步骤与联合动作约束投影之间交替，将投影梯度法适配于约束动态博弈，利用时序结构实现O(T)复杂度。
• 应用Douglas-Rachford分裂法将问题分解为一个无约束博弈子问题和一个约束投影子问题，两者均可通过动态规划在O(T)时间内求解。
• 利用逐阶段牛顿法在计算得到的OLNE轨迹附近计算局部反馈策略，利用二阶结构实现局部最优性。
• 对于线性动态和多面体约束情形，证明所得反馈策略为O(ε²)-近似反馈纳什均衡（FNE）。
• 在Douglas-Rachford的分裂方案中，一个子问题通过逐阶段牛顿法求解无约束博弈，另一个子问题将动作投影到有界集合上。
• 通过线搜索和自适应步长规则实现两种算法，以确保在数值实验中稳定收敛。

实验结果

研究问题

• RQ1 能否高效地将一阶方法（如投影梯度法和Douglas-Rachford分裂法）适配于具有时序结构的约束非线性动态博弈？
• RQ2 当应用于约束动态博弈时，这些算法的收敛速率如何？能否在时域长度上保持线性复杂度？
• RQ3 能否以开环纳什均衡（OLNE）解为基础，计算出近似反馈纳什均衡（FNE）的局部反馈策略？
• RQ4 在何种条件下（特别是线性动态和多面体约束）下，所计算的反馈策略可产生有效的近似FNE？
• RQ5 在基准问题（如带有噪声的生物量博弈和多智能体会合任务）中，这些算法的实际表现如何？

主要发现

• 投影梯度法与Douglas-Rachford算法以线性速率局部收敛至开环纳什均衡（OLNE），每步迭代复杂度为O(T)。
• 在具有凸约束的线性二次会合问题中，Douglas-Rachford方法在10,000次迭代内实现了稳定收敛，会合点逐渐趋近于最终的OLNE。
• 所有迭代中动作范数始终保持在u_max = 2以内，确认了约束满足性。
• 所有三名玩家的累积成本随迭代次数减少，表明收敛至更低代价的均衡。
• 通过逐阶段牛顿法导出的局部反馈策略在噪声系统中提供了更平滑的生物量轨迹，减少了与OLNE路径的偏差。
• 在具有线性动态和多面体约束的情况下，反馈策略被证明为O(ε²)-近似反馈纳什均衡，验证了其实际可用性。