[论文解读] Learning Feasibility to Imitate Demonstrators with Different Dynamics

Zhangjie Cao, Yilun Hao+2 more|arXiv (Cornell University)|Oct 28, 2021

Reinforcement Learning in Robotics参考文献 28被引用 5

一句话总结

该论文提出了一种可行性度量方法，通过构建可行性马尔可夫决策过程（f-MDP），在其中学习最优策略以对演示轨迹分配可行性分数，从而实现从具有不同动力学特性的示范者处进行模仿学习。该方法根据可行性对演示进行重加权，使模仿者能够专注于有用且接近可行的轨迹，在模拟环境和真实机器人环境中，其期望回报和成功率均显著优于先前方法。

ABSTRACT

The goal of learning from demonstrations is to learn a policy for an agent (imitator) by mimicking the behavior in the demonstrations. Prior works on learning from demonstrations assume that the demonstrations are collected by a demonstrator that has the same dynamics as the imitator. However, in many real-world applications, this assumption is limiting -- to improve the problem of lack of data in robotics, we would like to be able to leverage demonstrations collected from agents with different dynamics. This can be challenging as the demonstrations might not even be feasible for the imitator. Our insight is that we can learn a feasibility metric that captures the likelihood of a demonstration being feasible by the imitator. We develop a feasibility MDP (f-MDP) and derive the feasibility score by learning an optimal policy in the f-MDP. Our proposed feasibility measure encourages the imitator to learn from more informative demonstrations, and disregard the far from feasible demonstrations. Our experiments on four simulated environments and on a real robot show that the policy learned with our approach achieves a higher expected return than prior works. We show the videos of the real robot arm experiments on our website (https://sites.google.com/view/learning-feasibility).

研究动机与目标

• 解决模仿学习中示范必须来自与模仿者相同动力学特性的代理的局限性。
• 实现对来自不同动力学特性代理（如自由度或身体结构不同）所收集示范的复用。
• 过滤掉不可行或有害的示范，防止其在策略学习过程中误导模仿者。
• 开发一种可行性度量，量化示范被模仿者执行的可能性。
• 通过基于可行性分数对示范进行重加权，提升模仿学习性能。

提出的方法

• 基于模仿者的MDP和示范者的轨迹，构建可行性MDP（f-MDP），以建模可行性约束。
• 在f-MDP中学习最优策略，使其在尊重模仿者动力学和约束的前提下，最大程度地遵循示范行为。
• 将最优f-MDP策略的值函数用作每个示范的可行性分数。
• 在模仿学习过程中，使用学习到的可行性分数对示范进行重加权，以优先选择接近可行的轨迹。
• 使用行为克隆或逆强化学习，在重加权的示范上训练最终的模仿者策略。
• 在仿真环境和配备3-DoF与7-DoF控制器的真实Franka Panda机械臂上验证该方法。

实验结果

研究问题

• RQ1 我们能否学习到一种可行性度量，以识别来自不同动力学特性的代理的哪些示范可被模仿者执行？
• RQ2 当示范来自动力学特性不匹配的代理时，所提出的可行性度量如何提升模仿学习性能？
• RQ3 该方法是否优于假设共享动力学或对所有示范同等对待的现有方法？
• RQ4 该方法对不同组成示范（包括大量不可行或无关轨迹）的鲁棒性如何？
• RQ5 可行性度量能否在真实机器人操作任务中有效过滤有害示范，同时保留有用示范？

主要发现

• 与基线方法相比，该方法在真实机械臂任务中实现了统计上显著更高的期望回报（p值 = 2.432×10⁻⁷）和成功率（p值 = 3.534×10⁻⁸）。
• 在包含越来越多来自无关动力学的不可行示范的环境中，该方法保持了优越性能，而基线方法显著退化。
• 可行性度量成功识别并降低了不可行轨迹（如与障碍物碰撞的轨迹）的权重，同时保留了越过置物架等有用轨迹。
• 即使示范集中包含高比例的无关动力学轨迹，该方法仍优于SAIL及其他基线方法，表明其对噪声或无关数据具有鲁棒性。
• 使用可行性重加权示范训练的策略，其期望回报和成功率均高于未考虑可行性差异的方法。
• 消融研究证实，可行性分数对性能至关重要，因为移除该分数后性能显著下降，尤其在高不可行性条件下。