[论文解读] Generalization Guarantees for Imitation Learning

Allen Z. Ren, Sushant Veer+1 more|arXiv (Cornell University)|Aug 5, 2020

Human Pose and Action Recognition参考文献 39被引用 6

一句话总结

本文提出了一种两阶段模仿学习框架，利用PAC-Bayes理论为部署在新环境中的策略提供严格的泛化保证。通过首先使用条件变分自编码器（cVAE）在专家示范数据上训练多模态先验，然后在新环境中利用PAC-Bayes边界进行微调，该方法在仿真和真实硬件环境中的视觉感知操作与导航任务中均实现了优异的实证性能和紧密的泛化边界。

ABSTRACT

Control policies from imitation learning can often fail to generalize to novel environments due to imperfect demonstrations or the inability of imitation learning algorithms to accurately infer the expert's policies. In this paper, we present rigorous generalization guarantees for imitation learning by leveraging the Probably Approximately Correct (PAC)-Bayes framework to provide upper bounds on the expected cost of policies in novel environments. We propose a two-stage training method where a latent policy distribution is first embedded with multi-modal expert behavior using a conditional variational autoencoder, and then "fine-tuned" in new training environments to explicitly optimize the generalization bound. We demonstrate strong generalization bounds and their tightness relative to empirical performance in simulation for (i) grasping diverse mugs, (ii) planar pushing with visual feedback, and (iii) vision-based indoor navigation, as well as through hardware experiments for the two manipulation tasks.

研究动机与目标

• 解决具有丰富感官输入和复杂动态特性的机器人系统在模仿学习中缺乏泛化保证的问题。
• 开发一种方法，确保模仿策略在新型、此前未见过的环境中具有强预期性能。
• 将PAC-Bayes理论整合到模仿学习中，以提供非平凡且可操作的泛化边界。
• 在多样化的机器人任务中（包括操作与视觉引导导航）验证该方法的有效性。
• 通过仿真和真实硬件实验验证该框架。

提出的方法

• 使用条件变分自编码器（cVAE）将多模态专家示范嵌入潜在先验策略分布中，从而实现多样化行为的生成。
• cVAE学习潜在变量上的先验分布，以编码专家行为，其重构损失基于预测动作与专家动作之间的交叉熵。
• 采用两阶段训练流程：第一阶段，cVAE在专家数据上训练先验；第二阶段，使用一组新的训练环境对先验进行微调。
• 在第二阶段，通过最小化PAC-Bayes泛化边界来优化潜在变量上的后验分布，明确针对新环境中预期性能的提升。
• 泛化边界基于PAC-Bayes理论计算，该理论为策略在未见环境中的期望代价提供了上界。
• 最终策略为策略上的后验分布，其中后验分布的每个样本生成不同的行为，且该边界与整个分布相关联。

实验结果

研究问题

• RQ1 PAC-Bayes理论能否有效应用于复杂机器人环境中，为模仿学习策略提供非平凡的泛化边界？
• RQ2 通过cVAE实现的多模态先验学习在泛化边界优化的微调阶段中，如何提升收敛速度与性能？
• RQ3 理论泛化边界在多类任务中与新环境下的实证性能之间的相关性有多大？
• RQ4 该框架能否在真实世界硬件部署中实现强泛化能力，特别是在视觉引导操作任务中？
• RQ5 当训练环境与新环境均来自同一未知分布时，该框架如何处理分布偏移问题？

主要发现

• 在500个训练环境上微调后，后验策略在新型室内导航环境中取得了79.1%的成功率，显著优于先验的65.4%成功率。
• 在1000个训练环境上，后验策略的估计成功率达到了79.9%，表明其具有强大的实证泛化能力。
• 后验策略的PAC-Bayes泛化边界为0.741（即1 - C_bound* = 0.741），表明有74.1%的置信度认为期望代价被该边界所限制。
• 该泛化边界被证明是紧密的，因为它在不同训练集规模下与实证成功率高度一致。
• 与单模态先验相比，多模态先验显著加速了收敛并提升了最终性能，这通过轨迹多样性与成功率的对比得到验证。
• 在Franka Panda机械臂上的真实硬件实验验证了该框架在现实世界操作任务中的鲁棒性与泛化能力，与仿真结果一致。