[论文解读] Bayesian Controller Fusion: Leveraging Control Priors in Deep Reinforcement Learning for Robotics

Krishan Rana, Vibhavari Dasagi+4 more|arXiv (Cornell University)|Jul 21, 2021

Fault Detection and Control Systems被引用 7

一句话总结

本文提出贝叶斯控制器融合（BCF），一种混合强化学习框架，通过结合深度强化学习策略的不确定性感知输出与人工设计控制器，实现在机器人领域安全、样本高效的训练。通过贝叶斯推理融合这两种控制器，BCF 加速了训练过程，并在导航和抓取任务中分别实现相对于控制先验 116% 和 282% 的性能提升，同时确保在分布外状态下的安全行为。

ABSTRACT

We present Bayesian Controller Fusion (BCF): a hybrid control strategy that combines the strengths of traditional hand-crafted controllers and model-free deep reinforcement learning (RL). BCF thrives in the robotics domain, where reliable but suboptimal control priors exist for many tasks, but RL from scratch remains unsafe and data-inefficient. By fusing uncertainty-aware distributional outputs from each system, BCF arbitrates control between them, exploiting their respective strengths. We study BCF on two real-world robotics tasks involving navigation in a vast and long-horizon environment, and a complex reaching task that involves manipulability maximisation. For both these domains, simple handcrafted controllers exist that can solve the task at hand in a risk-averse manner but do not necessarily exhibit the optimal solution given limitations in analytical modelling, controller miscalibration and task variation. As exploration is naturally guided by the prior in the early stages of training, BCF accelerates learning, while substantially improving beyond the performance of the control prior, as the policy gains more experience. More importantly, given the risk-aversity of the control prior, BCF ensures safe exploration and deployment, where the control prior naturally dominates the action distribution in states unknown to the policy. We additionally show BCF's applicability to the zero-shot sim-to-real setting and its ability to deal with out-of-distribution states in the real world. BCF is a promising approach towards combining the complementary strengths of deep RL and traditional robotic control, surpassing what either can achieve independently. The code and supplementary video material are made publicly available at https://krishanrana.github.io/bcf.

研究动机与目标

• 解决深度强化学习在真实机器人应用中样本效率低和安全性不足的问题。
• 利用现有但次优的可靠人工设计控制器作为行为先验，引导探索并提升样本效率。
• 通过利用经典控制器在未知或分布外状态下的风险规避特性，确保安全部署。
• 通过将不确定性感知的经典控制器与深度强化学习策略结合，实现深度强化学习策略在仿真到现实环境中的可靠迁移。
• 开发一种混合控制策略，根据置信度动态协调学习控制与经典控制，从而在最终策略性能上超越先验。

提出的方法

• 构建一种贝叶斯融合机制，结合深度强化学习策略和人工设计控制器的随机动作分布，利用其预测不确定性来加权贡献。
• 将每个控制器的输出表示为每个执行器的单变量正态分布，其均值和方差基于不确定性估计得出。
• 应用贝叶斯模型平均计算复合动作分布，使在每个状态下不确定性更低的控制器占据主导地位。
• 使用深度强化学习策略的集成模型来估计认知不确定性，提升早期训练阶段的鲁棒性与多样性。
• 将融合机制集成到组合策略中，实现在真实环境中安全探索与稳定部署。
• 将该框架应用于长时程导航和最大化操作能力的抓取任务，验证其性能提升及对分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 将不确定性感知的深度强化学习策略与人工设计控制器结合，能否提升机器人控制任务中的样本效率和最终性能？
• RQ2 在强化学习策略遭遇分布外状态时，混合控制策略如何确保安全探索与部署？
• RQ3 贝叶斯融合控制先验与学习策略在复杂机器人任务中，能在多大程度上实现可靠的仿真到现实迁移？
• RQ4 该融合机制是否能使最终策略超越次优的控制先验，即使先验本身表现不佳？
• RQ5 基于不确定性的控制器仲裁机制如何影响长时程、稀疏奖励环境中的学习动态与鲁棒性？

主要发现

• 在长时程导航任务中，BCF 相较于控制先验实现了 116% 的性能提升，显著优于基线方法。
• 在复杂抓取任务中，BCF 相较于基线控制器使操作能力提升了 34.9%，展现出更优的任务特定优化能力。
• 在真实世界导航实验中，混合控制器将执行时间减少了 50.7%，通过消除反应式控制器常见的振荡行为。
• BCF 在两项任务中均成功实现了仿真到现实的迁移，策略在分布外状态下仍能泛化，而独立的强化学习策略则失败。
• 基于集成的不确定性估计使已知区域的初始不确定性较低，而在未探索区域则方差较高，从而实现有效的探索。
• BCF 的贝叶斯融合机制确保在未知状态下风险规避的控制先验占据主导，保障了部署过程中的安全行为。