[论文解读] Causal Imitation Learning under Temporally Correlated Noise

Gokul Swamy, Sanjiban Choudhury+2 more|arXiv (Cornell University)|Feb 2, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了 DoubIL 和 ResiduIL 两种因果模仿学习算法，利用过去状态作为工具变量，以缓解专家演示中由时间相关噪声（TCN）引起的策略退化问题。通过利用历史信息打破虚假的状态-动作相关性，两种方法均在无需交互式专家访问的情况下实现了稳定的策略恢复，在模拟控制任务中优于行为克隆方法。

ABSTRACT

We develop algorithms for imitation learning from policy data that was corrupted by temporally correlated noise in expert actions. When noise affects multiple timesteps of recorded data, it can manifest as spurious correlations between states and actions that a learner might latch on to, leading to poor policy performance. To break up these spurious correlations, we apply modern variants of the instrumental variable regression (IVR) technique of econometrics, enabling us to recover the underlying policy without requiring access to an interactive expert. In particular, we present two techniques, one of a generative-modeling flavor (DoubIL) that can utilize access to a simulator, and one of a game-theoretic flavor (ResiduIL) that can be run entirely offline. We find both of our algorithms compare favorably to behavioral cloning on simulated control tasks.

研究动机与目标

• 形式化由于专家演示中时间相关噪声（TCN）导致的模仿学习中的混淆问题。
• 开发无需交互式专家查询或真实专家策略访问的稳健模仿学习算法。
• 利用工具变量回归（IVR）为在 TCN 下的策略恢复提供理论性能边界。
• 在模拟控制环境中实证验证所提方法，并评估 TCN 持续性对学习性能的影响。

提出的方法

• 作者将 TCN 建模为影响多个时间步的未观测混杂因子，造成状态与动作之间的虚假相关性。
• 利用过去状态作为工具变量以消除学习过程中的混淆，利用历史状态与未来混杂因子独立的特性。
• DoubIL 是一种生成建模方法，通过模拟器从过去状态重新模拟状态转移，以降低样本复杂度。
• ResiduIL 是一种无需模拟器的游戏理论方法，通过在双人极小化极大框架中最小化残差来估计策略。
• 两种方法均基于现代工具变量回归（IVR），并具有统一的理论推导，揭示其共享结构。
• 理论边界通过条件数 $\kappa(\Pi)$ 推导，该值衡量病态性，性能在 TCN 下表现为与 $\sqrt{\epsilon}T^2$ 成比例。

实验结果

研究问题

• RQ1 我们能否通过简单比较行为克隆与基于 IVR 的方法，检测专家演示数据中时间相关噪声的存在？
• RQ2 时间相关噪声的持续性如何影响模仿学习算法的性能与稳定性？
• RQ3 过去状态能否作为有效工具变量，以消除模仿学习中由未观测混杂因子引起的状态-动作相关性？
• RQ4 在无交互式专家访问的情况下，DoubIL 和 ResiduIL 是否能实现与专家策略的值等价性？
• RQ5 条件数 $\kappa(\Pi)$ 与学习策略和专家策略之间的性能差距之间存在何种理论关系？

主要发现

• 在 LunarLander-v2 环境中，DoubIL 和 ResiduIL 显著优于行为克隆，尤其在低数据场景下，能更准确匹配去混淆的专家策略 $\mathbb{E}[a|do(s)]$。
• 在 HalfCheetahBulletEnv 和 AntBulletEnv 环境中，两种方法在数据充足时几乎达到专家性能，而行为克隆在 TCN 下无法收敛至专家策略。
• 行为克隆与基于 IVR 的方法之间的性能差距随混杂因子持续性增加而增大，与 $\kappa(\Pi)$ 相关的理论边界预测一致。
• 实证验证确认 $\mathbb{E}[u|s] = \pi_{BC}(s) - \pi_{IV}(s)$，从而可通过模型比较检测混淆现象。
• 条件数 $\kappa(\Pi;H)$ 随混杂因子持续的时间步数 $H$ 增加而上升，表明病态性增强，潜在性能差距更大。
• 理论分析表明，专家策略与学习策略之间的性能差距受 $c\kappa(\Pi)\sqrt{\epsilon}T^2$ 限制，为 TCN 下的一致性提供了正式保证。