[论文解读] Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic

Yangang Ren, Jingliang Duan+3 more|arXiv (Cornell University)|Feb 13, 2020

Reinforcement Learning in Robotics参考文献 27被引用 8

一句话总结

本文提出最小最大分布式软演员-critic（Minimax DSAC）强化学习算法，通过将最小最大博弈动态与分布式强化学习框架相结合，提升策略泛化能力。通过训练一个风险规避的主角对抗一个主动扰乱环境的高风险对手，该方法学习到对未见环境变化具有鲁棒性的策略，在安全关键的自动驾驶交叉路口场景中显著优于标准DSAC。

ABSTRACT

Reinforcement learning (RL) has achieved remarkable performance in numerous sequential decision making and control tasks. However, a common problem is that learned nearly optimal policy always overfits to the training environment and may not be extended to situations never encountered during training. For practical applications, the randomness of environment usually leads to some devastating events, which should be the focus of safety-critical systems such as autonomous driving. In this paper, we introduce the minimax formulation and distributional framework to improve the generalization ability of RL algorithms and develop the Minimax Distributional Soft Actor-Critic (Minimax DSAC) algorithm. Minimax formulation aims to seek optimal policy considering the most severe variations from environment, in which the protagonist policy maximizes action-value function while the adversary policy tries to minimize it. Distributional framework aims to learn a state-action return distribution, from which we can model the risk of different returns explicitly, thereby formulating a risk-averse protagonist policy and a risk-seeking adversarial policy. We implement our method on the decision-making tasks of autonomous vehicles at intersections and test the trained policy in distinct environments. Results demonstrate that our method can greatly improve the generalization ability of the protagonist agent to different environmental variations.

研究动机与目标

• 解决深度强化学习策略在未见环境变化下的泛化能力差的问题，特别是在自动驾驶等安全关键应用中。
• 通过最小最大公式建模环境不确定性，其中对手主动干扰主角表现，以提升鲁棒性。
• 显式建模回报分布，实现风险感知策略学习，捕捉均值回报之外的方差和尾部风险。
• 开发一种连续动作、分布式强化学习算法，其泛化能力优于先前的最小最大或风险敏感方法。
• 在多样化对抗性驾驶模式下，于自动驾驶交叉路口通行任务中展示优越性能

提出的方法

• 引入最小最大博弈框架，主角最大化期望回报，对手最小化回报，以模拟最坏情况的环境扰动。
• 整合分布式强化学习范式，建模完整的回报分布，通过分布参数实现显式风险建模。
• 制定风险规避的主角策略，优化低方差和灾难性结果；同时设计风险寻求的对手策略，以放大环境不确定性。
• 使用分布式软演员-critic（DSAC）作为骨干网络，交替训练主角和对手策略，其中分布式Q网络用于估计状态-动作值分布。
• 在回报分布上构建最小最大目标，其中价值函数在对手引起的最坏分布偏移下进行优化。
• 将算法应用于交叉路口的自动驾驶车辆决策，由对抗性智能体模拟激进、保守或随机行为

实验结果

研究问题

• RQ1 结合最小最大公式与分布式强化学习是否能提升策略在未见环境条件下的泛化能力？
• RQ2 通过回报分布建模实现的风险感知策略学习，在极端或罕见环境变化下表现如何？
• RQ3 使用风险寻求对手的对抗性训练是否能提升安全关键控制任务（如自动驾驶）中的策略鲁棒性？
• RQ4 Minimax DSAC在训练中未见的多样化驾驶模式（激进、保守、随机）下，与标准DSAC相比性能如何？
• RQ5 分布式框架是否能实现优于依赖离散值函数近似方法的先前风险敏感或对抗式强化学习方法的泛化能力？

主要发现

• 在所有对抗性驾驶模式下，Minimax DSAC的平均回报显著高于标准DSAC，t检验p值 < 0.001。
• 在激进模式下，DSAC因碰撞失败（通过时间2.3秒），而Minimax DSAC通过减速和等待成功避免碰撞（通过时间8.5秒）。
• 在随机模式下，Minimax DSAC以6.1秒通过交叉路口，优于DSAC的8.9秒，表明其具备更强的适应能力。
• 在保守模式下，两者均成功通过，但Minimax DSAC用时更短（7.4秒 vs. 7.6秒），表明其在不牺牲安全性的前提下提升了效率。
• 尽管训练期间平均回报较低（因对手干扰），Minimax DSAC在未见环境变化中表现出更优的泛化能力。
• 可视化结果证实，Minimax DSAC学会在高风险场景中主动减速和等待，而DSAC的高速策略导致碰撞。