[论文解读] Offline Imitation Learning with Variational Counterfactual Reasoning

Bowei He, Zexu Sun+4 more|arXiv (Cornell University)|Oct 7, 2023

Machine Learning in HealthcareComputer Science被引用 3

一句话总结

该论文提出 OILCA，一种新颖的离线模仿学习框架，利用可识别变分自编码器生成反事实专家轨迹以进行数据增强，在专家数据量较少的场景下显著提升了策略的泛化能力。该方法在分布内（DeepMind Control Suite）和分布外（CausalWorld）基准上均优于强基线模型，通过基于因果关系的解耦数据生成增强了鲁棒性。

ABSTRACT

In offline imitation learning (IL), an agent aims to learn an optimal expert behavior policy without additional online environment interactions. However, in many real-world scenarios, such as robotics manipulation, the offline dataset is collected from suboptimal behaviors without rewards. Due to the scarce expert data, the agents usually suffer from simply memorizing poor trajectories and are vulnerable to variations in the environments, lacking the capability of generalizing to new environments. To automatically generate high-quality expert data and improve the generalization ability of the agent, we propose a framework named \underline{O}ffline \underline{I}mitation \underline{L}earning with \underline{C}ounterfactual data \underline{A}ugmentation (OILCA) by doing counterfactual inference. In particular, we leverage identifiable variational autoencoder to generate extit{counterfactual} samples for expert data augmentation. We theoretically analyze the influence of the generated expert data and the improvement of generalization. Moreover, we conduct extensive experiments to demonstrate that our approach significantly outperforms various baselines on both extsc{DeepMind Control Suite} benchmark for in-distribution performance and extsc{CausalWorld} benchmark for out-of-distribution generalization. Our code is available at \url{https://github.com/ZexuSun/OILCA-NeurIPS23}.

研究动机与目标

• 解决在仅提供有限专家示范时，离线模仿学习中泛化能力差的挑战。
• 缓解未标注离线数据中次优或噪声轨迹导致的性能下降问题。
• 在无需在线交互的情况下，提升策略在分布内和分布外环境中的泛化能力。
• 开发一种理论基础坚实的生成方法，通过反事实推理生成高质量、因果上合理的专家数据。

提出的方法

• 该框架采用可识别变分自编码器（VAE）建模专家数据的潜在结构，并通过操纵外生变量生成反事实状态。
• 通过在修改后的状态上条件化 VAE，生成反事实轨迹，模拟‘如果……会怎样’的情景，即代理会以不同方式行动的情形。
• 通过结构因果模型（SCM）引入因果结构，其中外生变量捕捉未观测到的环境变化。
• 将生成的反事实专家数据用于训练集增强，提升策略对分布偏移的鲁棒性。
• 理论分析表明，外生变量的解耦可确保反事实的可识别性，并对泛化误差进行界约束。
• 采用采样策略评估增强数据的影响，确保生成轨迹在多样性与行为一致性之间达到平衡。

实验结果

研究问题

• RQ1 反事实推理能否在专家数据有限的离线模仿学习中提升策略泛化能力？
• RQ2 如何在不进行在线交互的前提下，从未最优的离线数据集中生成高质量、因果上合理的专家数据？
• RQ3 反事实数据增强对策略泛化误差界具有怎样的理论影响？
• RQ4 VAE 中外生变量的解耦如何影响生成轨迹的质量与多样性？
• RQ5 所提出的方法是否在分布内与分布外泛化设置下均优于现有离线 IL 基线？

主要发现

• 在 DeepMind Control Suite 基准上，OILCA 在分布内泛化方面达到最先进性能，优于所有基线模型，包括 ORIL 和 DWBC。
• 在 CausalWorld 基准上，OILCA 在所有任务中均取得最高平均回报，其在 Stacked Blocks 任务上的表现比 BC-exp 提高 2.6 倍（2617.71 ± 88.07 vs. 1000.00 ± 0.00）。
• OILCA 显著优于 BCND 和 LobsDICE，后者分别因误差累积和过度保守的正则化而性能受限。
• 在 CausalWorld 的 Reaching 任务中，OILCA 取得 976.60 ± 20.13 的回报，超过第二好的方法（DWBC: 479.92 ± 18.75）一倍以上。
• 在 Towers 任务中，OILCA 达到 994.82 ± 5.76，领先第二名方法（768.68 ± 24.77）超过 225 分。
• 消融实验确认，反事实数据增强至关重要，移除该模块后性能下降幅度与标准行为克隆相当。