[论文解读] AC-Teach: A Bayesian Actor-Critic Method for Policy Learning with an Ensemble of Suboptimal Teachers

Andrey Kurenkov, Ajay Mandlekar+3 more|arXiv (Cornell University)|Sep 9, 2019

Reinforcement Learning in Robotics参考文献 38被引用 17

一句话总结

AC-Teach 提出了一种贝叶斯演员-评论家框架，利用一组次优、部分或矛盾的教师来提升深度强化学习中的样本效率。通过使用概率值估计和对教师提议动作的汤普森采样，该方法实现了稳定且自适应的探索，并在机器人操作任务中，无论教师质量如何或是否完整，均在收敛速度和最终性能上优于基线方法。

ABSTRACT

The exploration mechanism used by a Deep Reinforcement Learning (RL) agent plays a key role in determining its sample efficiency. Thus, improving over random exploration is crucial to solve long-horizon tasks with sparse rewards. We propose to leverage an ensemble of partial solutions as teachers that guide the agent's exploration with action suggestions throughout training. While the setup of learning with teachers has been previously studied, our proposed approach - Actor-Critic with Teacher Ensembles (AC-Teach) - is the first to work with an ensemble of suboptimal teachers that may solve only part of the problem or contradict other each other, forming a unified algorithmic solution that is compatible with a broad range of teacher ensembles. AC-Teach leverages a probabilistic representation of the expected outcome of the teachers' and student's actions to direct exploration, reduce dithering, and adapt to the dynamically changing quality of the learner. We evaluate a variant of AC-Teach that guides the learning of a Bayesian DDPG agent on three tasks - path following, robotic pick and place, and robotic cube sweeping using a hook - and show that it improves largely on sampling efficiency over a set of baselines, both for our target scenario of unconstrained suboptimal teachers and for easier setups with optimal or single teachers. Additional results and videos at https://sites.google.com/view/acteach/home.

研究动机与目标

• 提升长时程机器人任务中稀疏奖励环境下深度强化学习的样本效率。
• 在教师为次优、部分或矛盾的情况下，实现有效的策略学习，而非要求提供最优或完整的专家演示。
• 开发一种统一且可扩展的框架，将异构教师建议整合到行为策略中，而无需对单个教师进行显式条件化。
• 在使用混合了智能体和教师动作的经验数据进行离策略训练时，保持稳定性和性能。
• 使智能体能够学习到任何教师均未覆盖的行为，即使教师集合不足或存在噪声。

提出的方法

• AC-Teach 在演员-评论家架构基础上扩展，其行为策略基于贝叶斯评论家预测的动作值后验分布，通过汤普森采样选择动作。
• 贝叶斯评论家维护 Q 值的后验分布，从而实现对智能体动作与教师提议动作之间的不确定性感知选择。
• 教师建议作为替代动作提议被整合，无需显式条件化，使方法可扩展至大规模或动态的教师集合。
• 一种承诺机制使智能体能够长时间遵循单一教师策略，减少抖动并提升策略稳定性。
• 该方法使用离策略经验回放，支持从智能体和多个教师生成的异构数据进行训练。
• 该框架与任何离策略强化学习算法兼容，此处以贝叶斯 DDPG（BDDPG）为例进行演示。

实验结果

研究问题

• RQ1 当使用一组次优、部分或矛盾的教师时，AC-Teach 是否能显著提升样本效率？
• RQ2 当教师集合不足时，AC-Teach 的表现如何，即智能体是否需要从零开始学习任务的某些部分？
• RQ3 AC-Teach 对噪声大或质量低的教师（包括随机动作提供者）的鲁棒性如何？
• RQ4 在多种教师配置下，AC-Teach 是否在收敛速度和最终性能上均优于基线方法？
• RQ5 各组件（不确定性估计、承诺机制、集成方法）对整体性能的贡献分别是什么？

主要发现

• AC-Teach 在抓取与放置、路径跟踪和钩子清扫任务中，显著优于所有基线方法，在样本效率和最终性能方面表现更优。
• 即使仅使用一个噪声教师，AC-Teach 仍能有效学习，并接近使用完整噪声教师的性能，而所有基线方法均无法学习。
• 当使用多个部分教师（如独立的抓取与放置控制器）时，AC-Teach 的表现优于一个带噪声的、手工编码的近似最优教师。
• 在添加随机教师时，AC-Teach 保持鲁棒性；性能缓慢下降，但始终优于所有基线方法。
• 消融实验确认，四个组件——贝叶斯评论家、汤普森采样、承诺机制和集成方法——对高性能均不可或缺。
• 引入次优或部分教师可提升性能，优于最优或单一教师，表明教师建议的多样性有助于缓解外推误差。