[论文解读] Inverse Reinforcement Learning with Conditional Choice Probabilities

Mohit Sharma, Kris Kitani+1 more|arXiv (Cornell University)|Sep 22, 2017

Innovation Diffusion and Forecasting参考文献 21被引用 4

一句话总结

本文提出 CCP-IRL，一种逆强化学习方法，通过使用条件选择概率（CCPs）替代迭代动态规划，显著降低计算成本。通过基于专家轨迹经验估计的CCPs对价值函数进行建模，该方法避免了重复的动态规划调用，在网格世界和 Objectworld 基准测试中实现了与 MaxEnt-IRL 相当的奖励恢复质量，同时将计算速度提升至最多 5 倍。

ABSTRACT

We make an important connection to existing results in econometrics to describe an alternative formulation of inverse reinforcement learning (IRL). In particular, we describe an algorithm using Conditional Choice Probabilities (CCP), which are maximum likelihood estimates of the policy estimated from expert demonstrations, to solve the IRL problem. Using the language of structural econometrics, we re-frame the optimal decision problem and introduce an alternative representation of value functions due to (Hotz and Miller 1993). In addition to presenting the theoretical connections that bridge the IRL literature between Economics and Robotics, the use of CCPs also has the practical benefit of reducing the computational cost of solving the IRL problem. Specifically, under the CCP representation, we show how one can avoid repeated calls to the dynamic programming subroutine typically used in IRL. We show via extensive experimentation on standard IRL benchmarks that CCP-IRL is able to outperform MaxEnt-IRL, with as much as a 5x speedup and without compromising on the quality of the recovered reward function.

研究动机与目标

• 解决最先进 IRL 算法在奖励优化过程中因反复调用动态规划而导致的高计算成本问题。
• 通过利用条件选择概率（CCPs）作为价值函数迭代的计算高效替代方案，弥合机器人领域逆强化学习与结构计量经济学之间的鸿沟。
• 开发一种仅基于观测到的专家行为和 CCPs 来估计奖励函数的方法，避免重复求解 MDP 的需求。
• 证明基于 CCP 的 IRL 在显著减少训练时间的同时，仍能保持或提升性能质量，尤其在复杂或大规模 MDP 中表现更优。

提出的方法

• 该方法采用动态离散选择（DDC）模型来表述 MDP，其中奖励受到独立同分布的 Gumbel 分布冲击扰动，以建模专家行为的随机性。
• 提出一种基于当前奖励与未来价值差异的新型价值函数表示方法，该方法源自从专家示范中获得的行动概率的最大似然估计 CCPs。
• 将价值函数表示为 CCPs 和奖励参数的函数，从而实现在每个优化步骤中无需求解贝尔曼方程即可直接计算。
• 算法使用基于梯度的优化方法更新奖励参数，其价值函数估计完全基于 CCPs 和奖励函数参数得出。
• 对于非线性奖励函数，采用深度神经网络对奖励进行参数化，并将方法扩展为 DeepCCP-IRL，同时保持计算效率。
• 该方法通过使用基于 CCPs 的闭式表达式替代动态规划子程序，避免了迭代价值迭代，使整体计算量降低至每次迭代仅需求解一次 MDP。

实验结果

研究问题

• RQ1 是否可以使用条件选择概率（CCPs）在 IRL 中表示价值函数，而无需反复执行动态规划？
• RQ2 用基于 CCP 的估计替代迭代价值函数计算，是否能显著降低计算成本，同时保持奖励恢复的准确性？
• RQ3 在具有大状态空间或非线性奖励函数的复杂 MDP 中，CCP-IRL 相较于 MaxEnt-IRL 的性能表现如何？
• RQ4 CCP-IRL 在稳定估计 CCP 所需的专家轨迹数量方面，其数据效率如何？
• RQ5 CCP-IRL 的计算优势是否随问题复杂度增加而增强，特别是在需要大量价值迭代步数的 MDP 中？

主要发现

• 在标准 IRL 基准测试中，CCP-IRL 相较于 MaxEnt-IRL 实现了最高达 5 倍的加速，且计算时间随优化迭代次数的增加仅略有上升。
• 该方法保持了高质量的奖励恢复能力，如在网格世界和 Objectworld 环境中，CCP-IRL 与 MaxEnt-IRL 的奖励分布几乎完全一致。
• 在使用深度神经网络奖励函数近似器的非线性场景中，无论状态空间大小，DeepCCP-IRL 的速度均约为 DeepMaxEnt-IRL 的 5 倍。
• 随着问题复杂度的提升，CCP-IRL 的计算优势进一步增强，如在 Objectworld 中价值迭代收敛时间较长，而 DeepCCP-IRL 表现出极小的性能退化。
• 由于需要可靠的策略估计，CCP-IRL 需要的专家轨迹数量多于 MaxEnt-IRL —— 稳定性能约需 40 条轨迹，而 MaxEnt-IRL 约需 20 条。
• CCP-IRL 和 MaxEnt-IRL 均能成功捕捉 Objectworld 中的非线性奖励结构，表现为推断出的奖励函数与真实奖励函数在定性上高度匹配。