[论文解读] BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning

Xinyue Chen, Zijian Zhou+4 more|arXiv (Cornell University)|Oct 27, 2019

Reinforcement Learning in Robotics参考文献 45被引用 31

一句话总结

BAIL 提出了一种简单但性能优越的批量深度强化学习算法，该算法利用价值函数识别数据集中回报的“上包络线”，从该包络线中选择高性能动作，并通过模仿学习训练策略。它在 MuJoCo 基准测试中达到最先进性能——比 BCQ 高 42%，比 BC 高 101%，同时训练速度比 BCQ 和 BEAR 等 Q-learning 基线方法快 30–50 倍。

ABSTRACT

There has recently been a surge in research in batch Deep Reinforcement Learning (DRL), which aims for learning a high-performing policy from a given dataset without additional interactions with the environment. We propose a new algorithm, Best-Action Imitation Learning (BAIL), which strives for both simplicity and performance. BAIL learns a V function, uses the V function to select actions it believes to be high-performing, and then uses those actions to train a policy network using imitation learning. For the MuJoCo benchmark, we provide a comprehensive experimental study of BAIL, comparing its performance to four other batch Q-learning and imitation-learning schemes for a large variety of batch datasets. Our experiments show that BAIL's performance is much higher than the other schemes, and is also computationally much faster than the batch Q-learning schemes.

研究动机与目标

• 解决在使用标准 Q-learning 算法时，批量 DRL 因外推误差导致性能差和不稳定的问题。
• 开发一种比 BCQ 和 BEAR 等复杂基于 Q 函数的批量强化学习方法更简单、更快、更有效的替代方案。
• 通过利用基于价值函数识别的高性能动作进行模仿学习，提升批量 RL 中的样本效率和性能。
• 证明一种概念上简单的基于模仿学习的方法可以在多样化的非专家数据集上超越最先进的基于 Q-learning 的批量 RL 算法。
• 为安全关键系统提供一种计算高效且鲁棒的替代方案，尤其适用于无法进行在线交互的场景。

提出的方法

• BAIL 首先训练一个 V-function 神经网络，以估计数据集中每个状态的回报上包络线，代表该状态下可达到的最高回报。
• 然后识别数据集中那些蒙特卡洛回报接近该上包络线的状态-动作对，将这些动作选为高性能动作。
• 使用选定的高性能动作通过标准行为克隆（模仿学习）训练策略网络，无需额外约束或复杂架构。
• V-function 通过回归目标进行训练，以促使网络为每个状态预测数据集中观察到的最大回报。
• 该方法通过仅使用数据集中可证明为高性能的动作，避免了外推误差，无需像 BCQ 或 BEAR 那样引入动作空间约束。
• 整个流程计算效率高，由于省去了迭代式 Q-learning 更新和复杂约束机制，训练时间比 BCQ 和 BEAR 快 30–50 倍。

实验结果

研究问题

• RQ1 一种简单的模仿学习方法是否能在多样化的批量数据集上超越 BCQ 和 BEAR 等复杂的基于 Q 函数的批量 RL 算法？
• RQ2 在 MuJoCo 环境中，BAIL 在广泛范围的非专家批量数据集上的表现与 BCQ、BEAR、MARWIL 和 BC 相比如何？
• RQ3 将‘数据的上包络线’作为选择高性能动作的标准，是否能带来比仅基于回报排序或标准回归方法更好的策略性能？
• RQ4 与基于 Q-learning 的批量 RL 方法相比，BAIL 的计算效率如何，特别是在训练时间和资源使用方面？
• RQ5 BAIL 在不同类型批量数据（包括非专家策略生成的数据）上的泛化能力如何？

主要发现

• 在 22 个 MuJoCo 训练批量中，BAIL 平均比 BCQ 提高 42%，比 BC 提高 101%。
• 在 22 个训练批量中有 20 个批次中 BAIL 表现最佳，表明其在多样化数据集上具有强大且一致的性能。
• BAIL 的训练速度比 BCQ 和 BEAR 快 30–50 倍，每个随机种子的训练时间仅需 1–2 小时，而 Q-learning 基线方法需 12–100 小时。
• 对于执行批量（固定策略数据），原始 BC 表现最佳，但 BAIL 和 BCQ 表现相近，且在某些情况下甚至超越 BC，表明 BAIL 在简单数据上也具备鲁棒性。
• 上包络线方法显著优于朴素方法（如选择前 G 个动作或标准 V-function 回归），证实其在识别高质量数据点方面的有效性。
• BAIL 在不同超参数下表现稳定，无需精细调参，而 BCQ 和 BEAR 对参数选择敏感。