[论文解读] Deep Inverse Q-learning with Constraints

Gabriel Kalweit, Maria Huegle+2 more|arXiv (Cornell University)|Aug 4, 2020

Reinforcement Learning in Robotics参考文献 22被引用 4

一句话总结

本文提出了一种名为带约束的深度逆Q学习（Deep Inverse Q-learning with Constraints）的新颖IRL框架，通过逆动作值迭代（IAVI）仅求解一次MDP，绕过了最大熵IRL中计算成本高昂的内层循环，实现了奖励函数的闭式恢复。该方法实现了数个数量级的速度提升，支持非线性奖励函数和硬性约束，在仅30分钟演示数据下即在自主变道任务中表现出色。

ABSTRACT

Popular Maximum Entropy Inverse Reinforcement Learning approaches require the computation of expected state visitation frequencies for the optimal policy under an estimate of the reward function. This usually requires intermediate value estimation in the inner loop of the algorithm, slowing down convergence considerably. In this work, we introduce a novel class of algorithms that only needs to solve the MDP underlying the demonstrated behavior once to recover the expert policy. This is possible through a formulation that exploits a probabilistic behavior assumption for the demonstrations within the structure of Q-learning. We propose Inverse Action-value Iteration which is able to fully recover an underlying reward of an external agent in closed-form analytically. We further provide an accompanying class of sampling-based variants which do not depend on a model of the environment. We show how to extend this class of algorithms to continuous state-spaces via function approximation and how to estimate a corresponding action-value function, leading to a policy as close as possible to the policy of the external agent, while optionally satisfying a list of predefined hard constraints. We evaluate the resulting algorithms called Inverse Action-value Iteration, Inverse Q-learning and Deep Inverse Q-learning on the Objectworld benchmark, showing a speedup of up to several orders of magnitude compared to (Deep) Max-Entropy algorithms. We further apply Deep Constrained Inverse Q-learning on the task of learning autonomous lane-changes in the open-source simulator SUMO achieving competent driving after training on data corresponding to 30 minutes of demonstrations.

研究动机与目标

• 为解决最大熵IRL的高计算成本问题，后者需在内层循环中重复求解MDP。
• 通过将演示建模为最优Q值上的Boltzmann策略，实现专家奖励函数的闭式恢复。
• 开发无需内层优化的无模型、基于采样的IRL变体，支持任意非线性奖励函数。
• 通过函数逼近将框架扩展至连续状态空间，提升在真实世界中的适用性。
• 即使演示违反约束，也能在行为上强制执行预设的硬性约束，实现在安全关键领域中的安全模仿。

提出的方法

• 提出逆动作值迭代（IAVI），将IRL建模为基于MDP结构和Boltzmann策略假设所导出的线性方程组求解问题。
• 采用概率行为假设，即动作根据Q值上的Boltzmann分布进行选择，从而实现奖励函数的解析恢复。
• 引入逆Q学习（IQL）作为基于采样的无模型变体，利用偏移Q函数避免内层MDP求解。
• 通过深度函数逼近将框架扩展至连续状态，形成深度逆Q学习（DIQL）。
• 提出带约束的逆Q学习（CIQL）和深度带约束逆Q学习（DCIQL），在模仿过程中强制执行预设的硬性约束。
• 采用随机逼近和函数逼近技术，实现对高维和连续环境的可扩展性。

实验结果

研究问题

• RQ1 能否通过消除内层循环中重复求解MDP的需求，来加速IRL？
• RQ2 在Q值上的Boltzmann策略假设下，能否推导出专家奖励的闭式解？
• RQ3 无模型IRL能否在无需内层优化的情况下支持任意非线性奖励函数？
• RQ4 即使演示违反约束，能否在策略上强制执行约束？
• RQ5 所学习的奖励函数能否使策略训练比使用真实即时奖励更快、更高效？

主要发现

• 所提出的IAVI算法通过仅求解一次MDP，相比最大熵IRL实现了数个数量级的速度提升。
• IAVI学习到的奖励函数可实现比使用真实即时奖励进行训练更快的策略收敛，表明其具有自举优势。
• 深度带约束逆Q学习（DCIQL）成功地从30分钟的无约束演示中学习到安全、受约束的变道行为，实验环境为SUMO仿真。
• DCIQL仅使用1,000个专家演示样本（约1.5小时驾驶数据）即实现稳健性能，展现出极高的数据效率。
• DCIQL智能体始终满足保持右行和安全约束，同时仍能模仿专家的前瞻性超车行为。
• 与CDQN相比，基于IRL学习奖励训练的智能体收敛速度显著更快，凸显了逆学习框架的优势。