[论文解读] Infinite-Horizon Reach-Avoid Zero-Sum Games via Deep Reinforcement Learning

Jingqi Li, Donggun Lee+2 more|arXiv (Cornell University)|Mar 18, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种基于收缩贝尔曼备份的深度强化学习方法，用于求解无限时域可达-规避零和博弈。该方法定义了一个值函数，其超零水平集近似于可达-规避集。通过扩展保守Q学习方法，该方法能够在高维系统中可靠地学习安全控制策略与可行性核，克服维度灾难问题，同时在对抗性扰动下确保保守近似。

ABSTRACT

In this paper, we consider the infinite-horizon reach-avoid zero-sum game problem, where the goal is to find a set in the state space, referred to as the reach-avoid set, such that the system starting at a state therein could be controlled to reach a given target set without violating constraints under the worst-case disturbance. We address this problem by designing a new value function with a contracting Bellman backup, where the super-zero level set, i.e., the set of states where the value function is evaluated to be non-negative, recovers the reach-avoid set. Building upon this, we prove that the proposed method can be adapted to compute the viability kernel, or the set of states which could be controlled to satisfy given constraints, and the backward reachable set, or the set of states that could be driven towards a given target set. Finally, we propose to alleviate the curse of dimensionality issue in high-dimensional problems by extending Conservative Q-Learning, a deep reinforcement learning technique, to learn a value function such that the super-zero level set of the learned value function serves as a (conservative) approximation to the reach-avoid set. Our theoretical and empirical results suggest that the proposed method could learn reliably the reach-avoid set and the optimal control policy even with neural network approximation.

研究动机与目标

• 解决在高维系统中，面对最坏情况扰动的无限时域可达-规避零和博弈挑战。
• 利用深度强化学习克服汉密尔顿-雅可比可达性分析中的维度灾难问题。
• 开发一种值函数，其超零水平集可恢复可达-规避集、可行性核及后向可达集。
• 通过改进的保守Q学习框架，确保对安全关键集合的保守近似。
• 在对抗性不确定性与长时域约束下，实现自主系统控制策略的可靠学习。

提出的方法

• 提出一种收缩贝尔曼备份，定义了一个值函数，其超零水平集对应于可达-规避集。
• 引入一种改进的保守Q学习算法，以 bounded error 学习值函数，确保对可达-规避集的保守近似。
• 使用时间折扣值函数并随 γ → 1 逐渐衰减，以建模无限时域行为。
• 在贝尔曼更新中采用最小-最大公式化，以捕捉控制与扰动输入的最坏情况性能。
• 对值函数采用神经网络函数逼近，实现高维状态空间的可扩展性。
• 证明所学习的值函数相对于真实值函数满足边界条件，确保理论收敛性与保守性。

实验结果

研究问题

• RQ1 深度强化学习方法能否在存在对抗性扰动的无限时域零和博弈中，可靠地近似可达-规避集？
• RQ2 如何利用具有保守函数逼近的深度强化学习，缓解汉密尔顿-雅可比可达性分析中的维度灾难问题？
• RQ3 所提出的方法能否通过调整奖励函数与约束函数，将可行性核与后向可达集作为可达-规避集的特例进行计算？
• RQ4 结合保守Q学习的收缩贝尔曼备份是否能确保对安全关键集合的保守且稳定的学>-习？
• RQ5 在高维系统中，所学习值函数的收敛性与保守性可提供哪些理论保证？

主要发现

• 所提出方法成功利用深度神经网络学习到可达-规避集的保守近似，即使在高维系统中亦成立。
• 所学习值函数的超零水平集能准确恢复可达-规避集，且具有保守性的理论保证。
• 通过调整奖励函数与约束函数，该方法可推广至计算可行性核与后向可达集。
• 理论分析表明，所学习的值函数介于真实值函数减去一个 γ 加权误差项与真实值函数减去一个常数之间，确保收敛性。
• 实验结果表明，在对抗性扰动下，该方法能可靠学习最优控制策略与安全状态集。
• 将保守Q学习扩展至该设定，确保了稳定训练，并防止了值函数估计的过度估计。