[论文解读] FormulaZero: Distributionally Robust Online Adaptation via Offline Population Synthesis

Aman Sinha, Matthew O’Kelly+4 more|arXiv (Cornell University)|Mar 8, 2020

Data Stream Mining Techniques被引用 4

一句话总结

FormulaZero 提出了一种用于自主赛车的分布鲁棒在线自适应框架，结合离线对手群体生成与风险感知的多臂赌博机优化。它通过复制交换 MCMC 生成多样化且逼真的对手行为，并根据信念不确定性动态调整风险规避程度，实现在真实世界试验中与一级方程式赛车相当的高速、安全赛车表现。

ABSTRACT

Balancing performance and safety is crucial to deploying autonomous vehicles in multi-agent environments. In particular, autonomous racing is a domain that penalizes safe but conservative policies, highlighting the need for robust, adaptive strategies. Current approaches either make simplifying assumptions about other agents or lack robust mechanisms for online adaptation. This work makes algorithmic contributions to both challenges. First, to generate a realistic, diverse set of opponents, we develop a novel method for self-play based on replica-exchange Markov chain Monte Carlo. Second, we propose a distributionally robust bandit optimization procedure that adaptively adjusts risk aversion relative to uncertainty in beliefs about opponents' behaviors. We rigorously quantify the tradeoffs in performance and robustness when approximating these computations in real-time motion-planning, and we demonstrate our methods experimentally on autonomous vehicles that achieve scaled speeds comparable to Formula One racecars.

研究动机与目标

• 为解决在对手策略未知的竞争性多智能体赛车环境中部署安全且高性能的自主车辆所面临的挑战。
• 在不依赖实时数据采集的前提下，通过离线群体生成技术生成多样化且逼真的对手行为。
• 实现实时在线自适应，通过基于对手行为信念不确定性的动态风险规避调整，平衡性能与安全性。
• 在部分可观测条件下，严格量化实时运动规划中性能与鲁棒性之间的权衡。
• 在自主车辆上通过实验验证该方法，实现与一级方程式赛车相当的速度表现。

提出的方法

• 使用复制交换马尔可夫链蒙特卡洛（MCMC）方法离线合成多样化且逼真的对手策略群体，捕捉赛车行为中的战略多样性。
• 将赛车问题建模为部分可观测马尔可夫决策过程（POMDP），对手未观测行为存在不确定性。
• 应用分布鲁棒多臂赌博机优化方法，根据对手策略信念的不确定性自适应调节风险规避程度。
• 将合成的对手群体与自适应风险控制集成到实时运动规划流水线中，用于在线决策。
• 通过部分观测进行信念更新，以在在线执行过程中细化风险调节，确保在不确定性下的安全性。
• 在仿真和真实自主车辆上验证该框架，证明其在高速赛车场景下的可扩展性。

实验结果

研究问题

• RQ1 如何离线生成多样化且逼真的对手行为群体，以表征自主赛车中的战略多样性？
• RQ2 如何根据对对手未观测行为信念的不确定性，在线自适应调整风险规避程度？
• RQ3 在实时运动规划中近似分布鲁棒优化时，性能与鲁棒性之间的权衡是什么？
• RQ4 所提出的方法能否使自主车辆实现与一级方程式赛车相当的高速、安全性能？
• RQ5 离线群体生成与在线风险自适应控制相结合，如何提升竞争性多智能体环境中的泛化能力与安全性？

主要发现

• 复制交换 MCMC 方法成功生成了多样化且逼真的对手策略群体，能够捕捉真实赛车中观察到的战略行为。
• 分布鲁棒多臂赌博机优化实现了动态风险调节，提升了安全性，同时未牺牲性能，即使在不确定性条件下亦然。
• 在实验验证中，该框架实现了与一级方程式赛车相当的缩放速度，证明了高性能自主赛车的可行性。
• 定量分析表明性能与鲁棒性之间存在明确权衡，所提方法在实时约束下实现了有利的平衡。
• 在对手行为不确定性较高的场景下，该方法在安全性和速度方面均优于基线方法。
• 现实世界实验验证了该方法的有效性，自主车辆在对手策略未知的情况下安全高效地完成了比赛。