[论文解读] Is Bang-Bang Control All You Need? Solving Continuous Control with Bernoulli Policies

Tim Seyde, Igor Gilitschenski+5 more|arXiv (Cornell University)|Nov 3, 2021

Reinforcement Learning in Robotics被引用 15

一句话总结

本文研究了在连续控制强化学习中，是否使用仅输出极端动作值的伯努利分布策略（即bang-bang控制）能够超越传统的连续高斯策略。令人惊讶的是，将高斯策略头替换为伯努利策略头，在多个基准测试中实现了最先进性能，甚至优于原始方法；理论与实证分析表明，这种行为与最优控制原理相关联，并揭示了在使用动作惩罚时探索与性能之间的权衡。

ABSTRACT

Reinforcement learning (RL) for continuous control typically employs distributions whose support covers the entire action space. In this work, we investigate the colloquially known phenomenon that trained agents often prefer actions at the boundaries of that space. We draw theoretical connections to the emergence of bang-bang behavior in optimal control, and provide extensive empirical evaluation across a variety of recent RL algorithms. We replace the normal Gaussian by a Bernoulli distribution that solely considers the extremes along each action dimension - a bang-bang controller. Surprisingly, this achieves state-of-the-art performance on several continuous control benchmarks - in contrast to robotic hardware, where energy and maintenance cost affect controller choices. Since exploration, learning,and the final solution are entangled in RL, we provide additional imitation learning experiments to reduce the impact of exploration on our analysis. Finally, we show that our observations generalize to environments that aim to model real-world challenges and evaluate factors to mitigate the emergence of bang-bang solutions. Our findings emphasize challenges for benchmarking continuous control algorithms, particularly in light of potential real-world applications.

研究动机与目标

• 探究尽管使用连续策略分布，bang-bang控制为何以及如何在连续控制强化学习中出现。
• 评估通过伯努利分布显式强制实现bang-bang策略是否能在连续控制中实现优于或与标准高斯策略相当的性能。
• 分析在引入动作惩罚以抑制bang-bang行为时，探索效率与策略平滑性之间的权衡。
• 评估bang-bang行为在更真实环境中的泛化能力，包括来自Real-World RL套件的环境。
• 通过行为克隆实验，利用模仿学习分离探索、学习与最终策略性能的影响。

提出的方法

• 在深度强化学习算法的标准高斯策略头中，替换为仅沿每个维度输出最小值和最大值动作值的伯努利分布策略头。
• 在多种在线策略和离线策略算法（包括SAC、TD3和MPO）中应用该伯努利策略头，涵盖无模型和有模型设置。
• 使用最大后验概率策略优化（MPO）并采用离散动作空间的公式，以避免在用离散分布替换高斯分布时常见的梯度估计问题。
• 进行行为克隆实验，将训练好的高斯智能体的策略蒸馏到连续和离散（伯努利）策略头中，以隔离探索对性能的影响。
• 引入动作惩罚以抑制bang-bang行为，并评估其对学习动态和最终策略性能的影响。
• 在标准MuJoCo基准和Real-World RL套件上评估性能，以测试对现实世界约束的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 通过伯努利分布强制实现bang-bang策略是否能在连续控制中实现优于或与标准高斯策略相当的性能？
• RQ2 bang-bang控制在最优控制中的理论联系是什么，它如何与使用连续策略参数化的深度强化学习中的出现相关？
• RQ3 动作惩罚如何影响高斯策略中的探索与学习效率，它们引入了哪些权衡？
• RQ4 bang-bang行为在多大程度上能泛化到更真实的环境，这些环境模拟了执行器动力学和能耗等现实世界约束？
• RQ5 模仿学习实验是否有助于分离探索、学习与最终策略性能在bang-bang解决方案出现中的作用？

主要发现

• 采用仅输出极端动作值的伯努利分布策略，在多个连续控制基准测试中实现了最先进性能，部分情况下优于原始高斯策略版本。
• bang-bang行为的出现与最小时间最优控制问题在理论上相关联，其中在特定条件下bang-bang解是可证明最优的。
• 旨在抑制bang-bang行为的动作惩罚显著损害了高斯策略中的探索能力，导致次优学习和性能下降。
• 在Real-World RL套件中，伯努利策略在真实环境中表现出良好的泛化能力，表明当系统动力学作为低通滤波器平滑控制信号时，极端动作可以是有效的。
• 行为克隆实验表明，当采用相同行为进行蒸馏时，离散伯努利策略可匹配或超越连续高斯策略的性能，表明观察到的bang-bang行为并非探索的副产物。
• 结果挑战了连续动作空间对高性能控制是必要的假设，表明将策略搜索空间从R^N减少到2^N可在不牺牲性能的前提下带来益处。