[论文解读] Causal Imitation Learning with Unobserved Confounders

Junzhe Zhang, Daniel Kumor+1 more|arXiv (Cornell University)|Aug 12, 2022

Reinforcement Learning in Robotics参考文献 31被引用 23

一句话总结

该论文在因果框架下发展模仿学习，当示范者和学习者因未观测混淆变量而观察到不同协变量，提供图形准则和实用算法以从演示中学习模仿策略。

ABSTRACT

One of the common ways children learn is by mimicking adults. Imitation learning focuses on learning policies with suitable performance from demonstrations generated by an expert, with an unspecified performance measure, and unobserved reward signal. Popular methods for imitation learning start by either directly mimicking the behavior policy of an expert (behavior cloning) or by learning a reward function that prioritizes observed expert trajectories (inverse reinforcement learning). However, these methods rely on the assumption that covariates used by the expert to determine her/his actions are fully observed. In this paper, we relax this assumption and study imitation learning when sensory inputs of the learner and the expert differ. First, we provide a non-parametric, graphical criterion that is complete (both necessary and sufficient) for determining the feasibility of imitation from the combinations of demonstration data and qualitative assumptions about the underlying environment, represented in the form of a causal model. We then show that when such a criterion does not hold, imitation could still be feasible by exploiting quantitative knowledge of the expert trajectories. Finally, we develop an efficient procedure for learning the imitating policy from experts' trajectories.

研究动机与目标

• 在专家输入受未观测协变量影响且回报为潜在变量的情况下，推动模仿学习。
• 提供完整的图形准则以从因果图和观测数据评估可模仿性。
• 在模仿性不具可辨识性时，开发一个充分的识别算法以确定一个模仿策略。
• 提供通过显式因果参数化及在合成数据上进行验证的实用程序来学习模仿策略。

提出的方法

• 引入部分可观测结构因果模型（POSCMs）来建模观测的和潜在内生变量。
• 为含潜在回报的策略定义可辨识性与可模仿性的概念。
• 证明全局与基于后门的准则（通过直接父节点模仿与π-后门模仿）在何种情形下可以实现模仿。
• 引入Imitate算法，该算法搜索模仿工具变量（代理变量和可辨识子空间）并通过求解 P(s|do(π)) = P(s) 来学习策略。
• 提供一个实际的优化框架，在可辨识的子空间内使 P(s|do(π)) 可辨识，并通过标准的密度估计或线性方程组求解。
• 概述选择代理变量、识别工具变量以及实现优化以获得模仿策略的程序。

实验结果

研究问题

• RQ1 在存在混淆且回报潜在的情况下，基于何种图形条件可实现对专家回报的模仿？
• RQ2 如何利用后门样式的准则和观测数据在专家策略超出学习者策略空间时构建模仿策略？
• RQ3 如何利用代理变量和可辨识子空间来学习在POSCMs中复制专家表现的策略？
• RQ4 哪些实用算法能够使用真实值观测分布高效地找到模仿策略？

主要发现

• 一个完整的图形准则（直接父节点模仿）基于因果图和策略空间来识别模仿何时可行。
• 第二个准则（π-后门模仿）通过后门可行集来表征模仿性，允许利用观测数据进行基于策略的模仿。
• 扩展框架（实际可模仿性）表明即使纯辨识性失败，也可通过利用实际观测分布 P(o) 和代理变量实现模仿。
• 引入Imitate算法以搜索模仿工具变量和可辨识子空间，并计算满足 P(s|do(π)) = P(s) 的策略。
• 概念验证：该方法为通过参数化/因果建模在高维合成数据集上进行实用的模仿策略学习并验证提供了一种可行方法。