[论文解读] Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees

Siliang Zeng, Chenliang Li+2 more|arXiv (Cornell University)|Oct 4, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出了一种单循环最大似然逆强化学习算法，可在不牺牲奖励估计精度的前提下实现有限时间收敛至稳定解。通过结合策略改进与似然最大化过程中的随机梯度步骤，该方法在MuJoCo机器人控制任务中优于现有的IRL与模仿学习基准，同时保持理论保证。

ABSTRACT

Inverse reinforcement learning (IRL) aims to recover the reward function and the associated optimal policy that best fits observed sequences of states and actions implemented by an expert. Many algorithms for IRL have an inherently nested structure: the inner loop finds the optimal policy given parametrized rewards while the outer loop updates the estimates towards optimizing a measure of fit. For high dimensional environments such nested-loop structure entails a significant computational burden. To reduce the computational burden of a nested loop, novel methods such as SQIL [1] and IQ-Learn [2] emphasize policy estimation at the expense of reward estimation accuracy. However, without accurate estimated rewards, it is not possible to do counterfactual analysis such as predicting the optimal policy under different environment dynamics and/or learning new tasks. In this paper we develop a novel single-loop algorithm for IRL that does not compromise reward estimation accuracy. In the proposed algorithm, each policy improvement step is followed by a stochastic gradient step for likelihood maximization. We show that the proposed algorithm provably converges to a stationary solution with a finite-time guarantee. If the reward is parameterized linearly, we show the identified solution corresponds to the solution of the maximum entropy IRL problem. Finally, by using robotics control problems in MuJoCo and their transfer settings, we show that the proposed algorithm achieves superior performance compared with other IRL and imitation learning benchmarks.

研究动机与目标

• 解决传统嵌套循环IRL算法在高维环境中计算成本过高的问题。
• 在降低计算负担的同时保持高奖励估计精度，从而支持反事实分析与策略迁移。
• 开发一种单循环算法，可理论证明在有限时间内收敛至稳定解。
• 确保在奖励线性参数化时，所识别的解对应于最大熵IRL解。
• 在机器人控制任务与迁移学习设置中，性能优于现有IRL与模仿学习方法。

提出的方法

• 该算法将传统的嵌套循环结构替换为单循环框架，交替执行策略改进与似然最大化过程中的随机梯度步骤。
• 每个策略改进步骤后，均执行一次随机梯度更新，以最大化观察到的专家示范的似然性。
• 通过李雅普诺夫分析与随机逼近理论，证明了该方法可实现有限时间收敛至稳定解。
• 当奖励为线性参数化时，证明该方法收敛至最大熵IRL问题的解。
• 该算法被应用于MuJoCo环境，以评估其在复杂控制任务与迁移学习中的性能。
• 通过保持完整的奖励保真度，该方法避免了SQIL与IQ-Learn中常见的策略与奖励估计精度之间的权衡。

实验结果

研究问题

• RQ1 单循环IRL算法是否能在保持高奖励估计精度的同时实现有限时间收敛？
• RQ2 在奖励线性参数化条件下，所提方法是否收敛至最大熵IRL解？
• RQ3 该算法在复杂机器人控制任务中与最先进IRL与模仿学习方法相比表现如何？
• RQ4 由于奖励估计准确，该方法是否支持反事实分析？
• RQ5 在环境动力学发生变化的迁移学习设置中，该算法的性能如何？

主要发现

• 所提算法实现了有限时间收敛至稳定解，提供了许多现有IRL方法所不具备的理论保证。
• 在奖励线性参数化条件下，所识别的解与最大熵IRL问题的解完全一致。
• 该方法在MuJoCo机器人控制任务中优于基准IRL与模仿学习算法，表现出更优的样本效率与策略性能。
• 该算法保持了高奖励估计精度，从而可在环境动力学改变时实现可靠的反事实策略预测。
• 在迁移学习设置中，该方法能良好泛化至新任务，表明所学习奖励函数具有鲁棒性与可迁移性。
• 单循环设计显著降低了计算开销，相较于嵌套循环IRL，未牺牲奖励估计质量。