[论文解读] Anytime computation algorithms for approach-evasion differential games

Erich Mueller, Minghui Zhu+2 more|arXiv (Cornell University)|Aug 6, 2013

Robotic Path Planning Algorithms参考文献 23被引用 5

一句话总结

该论文提出了iGame和iGame∗，这两种是针对追逃微分博弈的新型 anytime 计算算法，利用增量采样和可达性理论，在收敛速度和计算效率方面优于传统的多网格方法。这些算法能够随时间动态提升策略质量，iGame∗在追逃者-逃逸者博弈的数值模拟中显著优于iGame和多网格基线方法。

ABSTRACT

This paper studies a class of approach-evasion differential games, in which one player aims to steer the state of a dynamic system to the given target set in minimum time, while avoiding some set of disallowed states, and the other player desires to achieve the opposite. We propose a class of novel anytime computation algorithms, analyze their convergence properties and verify their performance via a number of numerical simulations. Our algorithms significantly outperform the multi-grid method for the approach-evasion differential games both theoretically and numerically. Our technical approach leverages incremental sampling in robotic motion planning and viability theory.

研究动机与目标

• 为解决在计算资源随时间变化且环境不确定的网络物理系统中，合成安全、最优控制器的挑战。
• 克服固定网格和多网格方法在求解追逃微分博弈时的局限性，特别是其收敛缓慢和在动态环境中缺乏灵活性的问题。
• 开发 anytime 算法，能够在短时间内返回可行解，并随着计算时间的增加持续提升解的最优性。
• 通过确保渐近收敛性和计算效率，实现对安全关键系统的实时、在线控制合成。

提出的方法

• iGame算法通过增量采样，构建连续微分博弈在离散时间、状态空间和输入空间上的近似，每次迭代异步更新状态值。
• 利用可达性理论，通过哈密顿量的区分核表征最优值函数，确保对所有初始状态的正式收敛。
• iGame∗变体引入级联更新规则，仅选择在前一迭代中其子节点估计值发生变化的状态样本进行更新，从而提升计算效率。
• 两种算法均保持与多网格方法相同的渐近收敛保证，但通过异步、anytime 计算实现更快的收敛速度。
• 通过在每个状态对离散输入集合进行一步最小-最大优化，利用值函数近似推导反馈控制策略。
• 通过2D追逃者-司机博弈的仿真进行评估，设定明确的动力学和约束条件，并与200×200网格基准进行性能对比。

实验结果

研究问题

• RQ1 能否将增量采样与可达性理论结合，构建具有可证明收敛性且效率更高的追逃微分博弈 anytime 算法？
• RQ2 所提出的 anytime 算法在逼近误差和计算时间方面，与经典多网格方法相比，收敛速率如何？
• RQ3 iGame∗中异步级联更新机制在不牺牲收敛保证的前提下，对计算性能的提升程度如何？
• RQ4 iGame∗的 anytime 特性是否能在早期可行解至关重要的动态环境中，实现有效的在线策略优化？

主要发现

• iGame的收敛速度优于多网格方法，逼近误差随时间快速下降，如对数尺度误差曲线所示。
• iGame∗的收敛速度显著快于iGame和多网格方法，达到目标误差水平所需时间减少多个数量级。
• iGame∗达到误差0.04的平均计算时间远低于iGame和多网格方法，证明其卓越的效率。
• 数值仿真表明，iGame∗保持了 anytime 特性：即使样本数量较少，也能提供可行策略并持续改进，随时间推移显著减少超时情况。
• 当追逃者使用iGame∗、逃逸者使用固定50×50网格时，几乎所有原本可被捕获的状态均实现捕获，且随策略优化，先前导致超时的状态也逐渐被成功捕获。
• iGame∗中值函数近似的过程显示，采样点数量迅速增长且收敛高效，表明其探索与更新策略具有高度有效性。