[论文解读] DropoutDAgger: A Bayesian Approach to Safe Imitation Learning

Kunal Menda, Katherine Driggs-Campbell+1 more|arXiv (Cornell University)|Sep 18, 2017

Robot Manipulation and Learning参考文献 18被引用 13

一句话总结

DropoutDAgger 提出了一种贝叶斯扩展，用于 DAgger 逆向强化学习算法，通过在神经网络中使用 dropout 来估计新手策略动作的不确定性，从而实现一种概率性安全机制，平衡探索与利用。在 MuJoCo HalfCheetah 和一种 Dubins 车辆激光雷达导航任务中，即使在高观测噪声条件下，其安全性和学习性能也优于 DAgger 变体和行为克隆方法。

ABSTRACT

While imitation learning is becoming common practice in robotics, this approach often suffers from data mismatch and compounding errors. DAgger is an iterative algorithm that addresses these issues by continually aggregating training data from both the expert and novice policies, but does not consider the impact of safety. We present a probabilistic extension to DAgger, which uses the distribution over actions provided by the novice policy, for a given observation. Our method, which we call DropoutDAgger, uses dropout to train the novice as a Bayesian neural network that provides insight to its confidence. Using the distribution over the novice's actions, we estimate a probabilistic measure of safety with respect to the expert action, tuned to balance exploration and exploitation. The utility of this approach is evaluated on the MuJoCo HalfCheetah and in a simple driving experiment, demonstrating improved performance and safety compared to other DAgger variants and classic imitation learning.

研究动机与目标

• 为解决模仿学习中缺乏安全保证的问题，尤其是在策略遇到分布外状态时。
• 通过在专家演示之外实现安全探索，提升模仿学习的鲁棒性。
• 开发一种概率性框架，利用 dropout 正则化策略的不确定性估计来指导动作选择。
• 通过新手策略动作的置信度来平衡探索与利用，减少对专家干预的依赖。

提出的方法

• 在推理过程中使用 dropout 训练新手策略，将其建模为贝叶斯神经网络，以获得动作的分布。
• 针对每个观测估计新手策略动作的不确定性，以支持安全决策。
• 设计一种决策规则：当新手策略预测动作的置信度较低或不确定性较高时，选择专家动作。
• 基于专家与新手动作差异的加权概率性安全度量，权重为新手策略的置信度。
• 将新手策略的动作分布整合进 DAgger 框架，迭代提升策略鲁棒性，同时保持安全性。
• 调节超参数 τ（安全阈值）、p（专家动作概率）和 d（dropout 比率），以平衡探索与安全。

实验结果

研究问题

• RQ1 使用 dropout 的贝叶斯神经网络能否为模仿学习策略提供可靠的不确定性估计？
• RQ2 如何利用新手策略动作的不确定性来定义学习过程中的概率性安全度量？
• RQ3 与标准 DAgger 和行为克隆相比，引入基于不确定性的决策规则是否能提升学习性能与安全性？
• RQ4 所提方法对超参数（如 dropout 比率和安全阈值）的敏感性如何？
• RQ5 该方法是否能在保持完全安全性的同时，实现与非安全感知基线方法相当的学习性能？

主要发现

• DropoutDAgger 在所有实验中均实现了完美的安全性表现，包括在高随机性不确定性环境中。
• 在 Dubins 车辆激光雷达环境中，DropoutDAgger 在保持完全安全的同时，学习性能优于 BehaviorCloning 和 SafeDAgger*。
• 该方法对高观测噪声具有鲁棒性，即使激光雷达测量受高斯噪声污染，学习性能仍得以保持。
• 降低温度参数 τ 或提高 dropout 比率 d 会使算法更加保守，学习性能趋近于 BehaviorCloning。
• 将 dropout 概率从 0.05 提高到 0.1 后，对 τ 和 p 超参数选择的敏感性降低，提升了鲁棒性。
• 该算法在多种超参数设置下均保持了强劲性能，表明其具有稳定性与实际可用性。