[论文解读] Causal Confusion in Imitation Learning

Pim de Haan, Dinesh Jayaraman+1 more|arXiv (Cornell University)|May 28, 2019

Robot Manipulation and Learning参考文献 56被引用 127

一句话总结

本文将因果错识别识别为分布偏移下模仿学习的核心失败模式，并提出一个基于因果的干预框架，通过有针对性的环境交互或专家查询来恢复真实的因果模型。

ABSTRACT

Behavioral cloning reduces policy learning to supervised learning by training a discriminative model to predict expert actions given observations. Such discriminative models are non-causal: the training procedure is unaware of the causal structure of the interaction between the expert and the environment. We point out that ignoring causality is particularly damaging because of the distributional shift in imitation learning. In particular, it leads to a counter-intuitive "causal misidentification" phenomenon: access to more information can yield worse performance. We investigate how this problem arises, and propose a solution to combat it through targeted interventions---either environment interaction or expert queries---to determine the correct causal model. We show that causal misidentification occurs in several benchmark control domains as well as realistic driving settings, and validate our solution against DAgger and other baselines and ablations.

研究动机与目标

• 识别在分布偏移下，由于因果错识识别，非因果行为克隆如何失败。
• 形式化因果图及其干预在模仿学习中的作用。
• 提出一个图参数化策略框架以及有针对性的干预，以恢复正确的因果模型。
• 在基准控制任务和现实驾驶场景上，将该方法与标准基线和消融研究进行对比评估。

提出的方法

• 将策略建模为由因果图 G 参数化的混合体，其中每个图定义一个状态特征是否是专家行动的因果。
• 通过抽样图并在演示数据上最小化动作预测损失来训练图参数化策略。
• 使用干预查询（专家或环境基础）通过评估分歧或回报来对真实因果图进行评分和识别。
• 提供两种干预模式：专家查询干预（在信息丰富的状态主动查询）和策略执行干预（比较不同图下的回合回报）。
• 利用 beta-VAE 将观测解耦，以确保在使用图像数据时状态表示将因果与干扰因素分离。

实验结果

研究问题

• RQ1 模仿学习中的因果错识别是什么？它在分布偏移下如何产生？
• RQ2 有针对性的干预是否能够识别真实的因果模型并提升模仿策略的鲁棒性？
• RQ3 专家查询与基于环境的干预在恢复正确图方面有多有效？
• RQ4 解耦观测是否会影响发现真实原因的能力？
• RQ5 在标准基准和现实驾驶任务上，与 DAgger、dropout 和 GAIL 相比，所提方法的效果如何？

主要发现

• 由于干扰性相关性误导策略，因果错识别在信息越多时导致模仿性能更差。
• 图参数化策略加上有针对性的干预可以识别正确的因果模型并缩小性能差距。
• 在类驾驶任务中，策略执行干预通常比专家查询方法需要更少的回合数即可收敛到真实因果模型。
• 在若干任务中，专家查询干预需要的查询次数少于 DAgger 即可达到可比较的改进。
• 通过 beta-VAE 实现的解耦状态表示对于有效发现真实原因、改善干预结果具有重要意义。