[论文解读] Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization

Chelsea Finn, Sergey Levine+1 more|arXiv (Cornell University)|Mar 1, 2016

Optical Imaging and Spectroscopy Techniques被引用 369

一句话总结

本论文引入 Guided Cost Learning，通过将最大熵 IOC 与策略优化相结合来处理未知动力学和高维系统，从演示中学习非线性成本函数（如神经网络），在机器人任务上实现更好的任务性能和样本效率。

ABSTRACT

Reinforcement learning can acquire complex behaviors from high-level specifications. However, defining a cost function that can be optimized effectively and encodes the correct task is challenging in practice. We explore how inverse optimal control (IOC) can be used to learn behaviors from demonstrations, with applications to torque control of high-dimensional robotic systems. Our method addresses two key challenges in inverse optimal control: first, the need for informative features and effective regularization to impose structure on the cost, and second, the difficulty of learning the cost function under unknown dynamics for high-dimensional continuous systems. To address the former challenge, we present an algorithm capable of learning arbitrary nonlinear cost functions, such as neural networks, without meticulous feature engineering. To address the latter challenge, we formulate an efficient sample-based approximation for MaxEnt IOC. We evaluate our method on a series of simulated tasks and real-world robotic manipulation problems, demonstrating substantial improvement over prior methods both in terms of task complexity and sample efficiency.

研究动机与目标

• 通过专家演示来激发/驱动任务成本的学习，以在没有手工设计特征的情况下实现复杂的机器人行为。
• 通过支持表达力强的非线性成本表示（神经网络），克服 IOC 的定义不足。
• 通过基于样本的 IOC 与策略优化来应对未知动力学以及高维状态/动作空间。
• 通过联合学习成本与控制器来降低工程负担，使其能够在真实机器人上实际部署。

提出的方法

• 采用最大熵 IOC，其中演示在未知成本 c_theta 下接近最优。
• 用在原始状态输入上运行的神经网络表示 c_theta，以避免手工设计特征。
• 使用基于样本的近似来估计 IOC 目标，通过重要性采样估计分配函数 Z。
• 将 IOC 优化与策略优化过程交错进行，使轨迹分布 q(tau) 向 exp(-c_theta(tau)) 收敛。
• 通过使用演示和轨迹样本的随机梯度来更新成本参数 theta。
• 用局部恒定速率（lcr）和单调性（mono）项对非线性成本进行正则化，以降低过拟合。
• 提供实现所学策略的学习得到的时变线性高斯控制器 q(u_t|x_t)。

实验结果

研究问题

• RQ1 在未知动力学的 IOC 情境中，表达能力强的非线性成本函数是否能从演示中学习？
• RQ2 通过策略优化进行自适应采样是否提升对 IOC 分区函数的估计和最终成本质量？
• RQ3 该方法是否能在不使用手工特征的情况下处理高维机器人系统和真实世界的力矩控制任务？
• RQ4 正则化技术是否提高学习成本在情节机器人任务中的泛化能力并防止过拟合？
• RQ5 为新任务实例同时学习成本和控制器是否比重用固定成本更有利？

主要发现

• 该方法从演示中学习非线性成本（如神经网络），并在具有未知动力学的仿真任务中优于先前的 IOC 方法。
• Guided Cost Learning 结合策略优化提高了样本效率并支持高维度机器人任务（如 7 自由度手臂穿珠插入）。
• 正则化项（局部恒定速率和单调性）有助于减轻过拟合并改善情节任务的学习。
• 在真实的 PR2 机器人任务中，Guided Cost Learning 在仿射成本失败的场景下取得了显著成功，包括具有视觉特征的碗盘放置和倒汤等任务。
• 该方法同时产生一个学习得到的成本函数及相应的控制器，适合在新任务实例上执行学习到的行为。