[论文解读] Addressing Sample Inefficiency and Reward Bias in Inverse Reinforcement Learning.

Ilya Kostrikov, Kumar Krishna Agrawal+2 more|arXiv (Cornell University)|Sep 9, 2018

Reinforcement Learning in Robotics参考文献 17被引用 8

一句话总结

该论文提出了一种名为判别器-评论家-评论家（Discriminator-Actor-Critic）的新颖逆强化学习算法，通过使用非同策略强化学习将样本复杂度降低了10倍，并通过一种无需特定任务调优的设计消除了奖励函数偏差。该方法提升了在多样化环境中的模仿学习效率与泛化能力。

ABSTRACT

We identify two issues with the family of algorithms based on the Adversarial Imitation Learning framework. The first problem is implicit bias present in the reward functions used in these algorithms. While these biases might work well for some environments, they can also lead to sub-optimal behavior in others. Secondly, even though these algorithms can learn from few expert demonstrations, they require a prohibitively large number of interactions with the environment in order to imitate the expert for many real-world applications. In order to address these issues, we propose a new algorithm called Discriminator-Actor-Critic that uses off-policy Reinforcement Learning to reduce policy-environment interaction sample complexity by an average factor of 10. Furthermore, since our reward function is designed to be unbiased, we can apply our algorithm to many problems without making any task-specific adjustments.

研究动机与目标

• 解决对抗性模仿学习算法中隐含的奖励偏差问题，该问题可能导致在某些环境中产生次优行为。
• 降低当前逆强化学习算法中过高的样本复杂度，这些算法目前因需要过多的环境交互而难以在现实世界中部署。
• 开发一种可泛化的逆强化学习框架，在无需修改特定任务奖励函数的情况下，保持在多样化任务中的性能表现。
• 通过将非同策略强化学习与无偏差奖励函数设计相结合，提升模仿学习的效率与鲁棒性。

提出的方法

• 该算法采用非同策略强化学习框架，大幅减少策略学习所需的环境交互次数。
• 引入基于判别器的奖励函数，该函数被明确设计为在不同环境和任务中均无偏差。
• 该方法使用评论家网络来估计价值函数，通过重用非同策略数据实现高效的策略更新。
• 演员-评论家架构通过专家演示端到端训练，判别器提供奖励信号，避免了任务特定的工程设计。
• 奖励函数被构建为最小化通常影响对抗性模仿学习方法的隐含偏差。
• 整体框架可在无需重新调整奖励函数的情况下，实现多个环境中的稳定训练与泛化。

实验结果

研究问题

• RQ1 如何在保持高模仿性能的同时，降低逆强化学习的样本复杂度？
• RQ2 无偏差奖励函数在多样的环境中对逆强化学习泛化能力的提升程度如何？
• RQ3 非同策略学习能否有效整合到逆强化学习中，以减少环境交互需求？
• RQ4 消除任务特定的奖励工程是否能提升逆强化学习策略的鲁棒性与可迁移性？
• RQ5 与现有对抗性逆强化学习方法相比，所提出方法在样本效率和性能稳定性方面表现如何？

主要发现

• 与基线逆强化学习方法相比，所提算法平均将模仿学习所需的环境交互次数减少了10倍。
• 奖励函数设计成功消除了隐含偏差，使算法在无需任务特定调整的情况下，能在广泛环境中有效运行。
• 即使在专家演示数据有限的情况下，该方法仍能实现稳定训练与高性能模仿。
• 非同策略学习实现了交互数据的高效重用，显著提升了样本效率。
• 由于无偏差奖励函数和稳健的策略训练，该算法在未见过的环境中也表现出良好的泛化能力。
• 该框架在无需修改奖励函数或超参数的情况下，保持了在多样化任务中的强性能表现。