[论文解读] Imitation learning based on entropy-regularized forward and inverse reinforcement learning.

Eiji Uchibe, Kenji Doya|arXiv (Cornell University)|Aug 17, 2020

Reinforcement Learning in Robotics参考文献 48被引用 5

一句话总结

该论文提出熵正则化模仿学习（ERIL），一种新颖的模仿学习框架，在熵正则化下结合前向与逆向强化学习。通过双判别器最小化反向KL散度，并利用密度比技巧，ERIL实现了样本高效的策略学习，在MuJoCo环境中优于先前方法，并通过可解释的奖励函数成功建模了人类的杆平衡行为。

ABSTRACT

This paper proposes Entropy-Regularized Imitation Learning (ERIL), which is a combination of forward and inverse reinforcement learning under the framework of the entropy-regularized Markov decision process. ERIL minimizes the reverse Kullback-Leibler (KL) divergence between two probability distributions induced by a learner and an expert. Inverse reinforcement learning (RL) in ERIL evaluates the log-ratio between two distributions using the density ratio trick, which is widely used in generative adversarial networks. More specifically, the log-ratio is estimated by building two binary discriminators. The first discriminator is a state-only function, and it tries to distinguish the state generated by the forward RL step from the expert's state. The second discriminator is a function of current state, action, and transitioned state, and it distinguishes the generated experiences from the ones provided by the expert. Since the second discriminator has the same hyperparameters of the forward RL step, it can be used to control the discriminator's ability. The forward RL minimizes the reverse KL estimated by the inverse RL. We show that minimizing the reverse KL divergence is equivalent to finding an optimal policy under entropy regularization. Consequently, a new policy is derived from an algorithm that resembles Dynamic Policy Programming and Soft Actor-Critic. Our experimental results on MuJoCo-simulated environments show that ERIL is more sample-efficient than such previous methods. We further apply the method to human behaviors in performing a pole-balancing task and show that the estimated reward functions show how every subject achieves the goal.

研究动机与目标

• 开发一种统一的模仿学习框架，将前向与逆向强化学习在熵正则化下进行整合。
• 通过最小化专家策略与学习者策略之间的反向KL散度，提升策略学习的样本效率。
• 通过从示范轨迹中估计可解释的奖励函数，建模控制任务中的人类行为策略。
• 利用共享超参数的两个判别器，通过密度比技巧实现鲁棒的奖励函数估计。
• 在熵正则化下推导一种新的策略优化算法，其形式类似于动态策略编程与软演员评论家（Soft Actor-Critic）

提出的方法

• ERIL使用熵正则化的马尔可夫决策过程，以稳定策略学习并改善探索。
• 通过仅基于状态的判别器，最小化专家状态分布与学习者诱导分布之间的反向KL散度。
• 第二个判别器，基于状态、动作与下一状态，利用密度比技巧区分专家轨迹与生成轨迹。
• 两个判别器联合训练，以估计状态分布与转移分布的对数比，从而实现逆向强化学习以恢复奖励函数。
• 前向强化学习部分利用逆向强化学习中估计的反向KL，优化策略，从而在熵正则化下有效最小化差异。
• 由此推导出的新策略更新规则类似于动态策略编程与软演员评论家，结合熵正则化以提升稳定性和样本效率。

实验结果

研究问题

• RQ1 在熵正则化下结合前向与逆向强化学习，是否能提升模仿学习中的样本效率？
• RQ2 使用共享超参数的双判别器，对策略与奖励函数学习有何影响？
• RQ3 ERIL能否准确恢复反映控制任务中人类行为策略的奖励函数？
• RQ4 在强化学习框架中引入熵正则化，是否相比基线方法能带来更稳定且泛化能力更强的策略优化？
• RQ5 ERIL在复杂的MuJoCo环境中，相较于现有模仿学习方法，性能提升程度如何？

主要发现

• 在MuJoCo模拟环境中，ERIL相比先前的模仿学习方法展现出更高的样本效率，表现为更快收敛与更低的数据需求。
• 在杆平衡任务中，从人类示范中估计的奖励函数揭示了不同的行为策略，显示出良好的可解释性与与人类表现的一致性。
• 双判别器结构能够准确估计专家与学习者分布之间的对数比，从而提升逆向强化学习性能。
• 在熵正则化下最小化反向KL散度，可实现稳定且有效的策略优化过程，其形式类似于软演员评论家与动态策略编程。
• 该方法在不同控制任务间具有良好泛化能力，在专家示范数据有限的情况下仍能保持性能。
• 两个判别器之间共享超参数，增强了训练稳定性，并减少了奖励估计过程中的过拟合。