[论文解读] Fighting Failures with FIRE: Failure Identification to Reduce Expert Burden in Intervention-Based Learning

Trevor Ablett, Filip Marić+1 more|arXiv (Cornell University)|Jul 1, 2020

Reinforcement Learning in Robotics参考文献 34被引用 7

一句话总结

FIRE（用于减轻专家负担的故障识别）是一种利用判别器在执行过程中预测策略失败的方法，仅在必要时才进行及时的专家干预。通过同时从专家和非专家数据中学习，FIRE在样本效率方面相比逆强化学习提升了一个数量级，并且在相同数据条件下性能优于行为克隆。

ABSTRACT

Supervised imitation learning, also known as behavioral cloning, suffers from distribution drift leading to failures during policy execution. One approach to mitigate this issue is to allow an expert to correct the agent's actions during task execution, based on the expert's determination that the agent has reached a `point of no return.' The agent's policy is then retrained using this new corrective data. This approach alone can enable high-performance agents to be learned, but at a substantial cost: the expert must vigilantly observe execution until the policy reaches a specified level of success, and even at that point, there is no guarantee that the policy will always succeed. To address these limitations, we present FIRE (Failure Identification to Reduce Expert Burden in intervention-based learning), a system that can predict when a running policy will fail, halt its execution, and request a correction from the expert. Unlike existing approaches that learn only from expert data, our approach learns from both expert and non-expert data, akin to adversarial learning. We demonstrate experimentally for a series of challenging manipulation tasks that our method is able to recognize state-action pairs that lead to failures. This permits seamless integration into an intervention-based learning system, where we show an order-of-magnitude gain in sample efficiency compared with a state-of-the-art inverse reinforcement learning method and dramatically improved performance over an equivalent amount of data learned with behavioral cloning.

研究动机与目标

• 解决基于干预的模仿学习中专家必须持续监控策略执行所带来的高专家负担问题。
• 通过在执行前预测策略可能失败的时间点，降低故障率并提高策略鲁棒性。
• 通过智能故障预测减少不必要的专家干预，实现更高效的学。
• 将故障预测整合到闭环学习框架中，结合专家修正与自我改进的策略。
• 证明从专家和非专家数据中学习——类似于对抗学习——可带来更好的泛化能力与更早的故障检测。

提出的方法

• 训练一个判别器 $D$，以区分专家的状态-动作对与在策略滚动过程中收集的非专家（易出错）对。
• 将判别器的输出用作故障预测器：若 $D(s,a) > \beta$，则系统预测故障并中止执行。
• 引入一个可调节的阈值 $\beta$，用于控制在触发干预前允许的非专家对的连续数量。
• 仅在预测到故障时才允许人工专家介入，提供纠正性遥操作数据以重新训练策略。
• 定期使用原始专家示范数据和从干预中收集的新专家修正数据重新训练策略。
• 利用判别器的对抗性训练目标提升故障检测能力，类似于生成对抗网络，同时通过梯度惩罚避免过拟合。

实验结果

研究问题

• RQ1 在专家和非专家数据上进行训练的判别器能否有效预测策略故障的发生？
• RQ2 将故障预测整合到基于干预的学习中，是否能相比持续观察显著减少专家所需监控时间？
• RQ3 在操作任务中，FIRE的样本效率与最先进的逆强化学习方法相比如何？
• RQ4 与仅使用行为克隆相比，从专家和非专家数据中学习在多大程度上提升了故障检测能力和策略性能？
• RQ5 FIRE的性能对故障预测阈值 $\beta$ 的选择有多敏感？

主要发现

• 在具有挑战性的操作任务中，FIRE相比最先进的逆强化学习方法，样本效率提升了一个数量级。
• 使用相同量的专家数据训练的FIRE策略，其最终性能优于行为克隆训练的策略，表现出更优的性能。
• 在PushingXY、PickAndPlaceXY和PickAndPlace6Dof环境中，分别使用 $\beta \geq 30$、$\beta \geq 35$ 和 $\beta \geq 50$ 的故障预测阈值，即可使故障预测正确率超过一半。
• 系统根据专家反馈动态调整 $\beta$，确保仅在必要时才触发干预，从而最小化误报。
• 在重新训练时从先前训练好的策略进行热启动，相比从零开始重新训练，性能更优，表明专家修正在与现有策略错误对齐时最为有效。
• 即使仅进行极少的超参数调优，仅使用简单阈值规则的判别器输出，也能提供可靠且可解释的故障预测信号。