[论文解读] Apprenticeship Learning using Inverse Reinforcement Learning and Gradient Methods

Gergely Neu, Csaba Szepesvári|arXiv (Cornell University)|Jun 20, 2012

Reinforcement Learning in Robotics参考文献 10被引用 156

一句话总结

该论文提出了一种基于梯度的新型算法，通过逆强化学习实现模仿学习，利用次微分和自然梯度解决策略映射的非光滑性和冗余性。在两个人工环境中，该方法在模仿专家行为方面比以往方法更加可靠和高效。

ABSTRACT

In this paper we propose a novel gradient algorithm to learn a policy from an expert's observed behavior assuming that the expert behaves optimally with respect to some unknown reward function of a Markovian Decision Problem. The algorithm's aim is to find a reward function such that the resulting optimal policy matches well the expert's observed behavior. The main difficulty is that the mapping from the parameters to policies is both nonsmooth and highly redundant. Resorting to subdifferentials solves the first difficulty, while the second one is over- come by computing natural gradients. We tested the proposed method in two artificial domains and found it to be more reliable and efficient than some previous methods.

研究动机与目标

• 通过推断潜在的奖励函数，从专家示范中学习策略。
• 解决逆强化学习中奖励参数到策略映射的非光滑性和冗余性问题。
• 与现有方法相比，提升模仿学习的可靠性与效率。
• 利用次微分和自然梯度实现策略参数空间中的稳定优化。
• 在具有已知最优行为的受控环境中验证该方法。

提出的方法

• 使用逆强化学习从专家轨迹中推断奖励函数。
• 应用次微分处理策略对奖励参数的非光滑依赖关系。
• 采用自然梯度方法减少参数空间中的冗余性，提升收敛性。
• 优化奖励函数，使所得最优策略与专家行为相匹配。
• 在推断奖励下专家示范的似然性基础上，采用梯度上升框架。
• 结合策略评估与基于梯度更新的奖励函数迭代优化。

实验结果

研究问题

• RQ1 当策略映射具有非光滑性时，如何有效从专家示范中学习奖励函数？
• RQ2 在策略参数化存在高度冗余的情况下，何种优化技术可稳定学习过程？
• RQ3 与标准梯度方法相比，自然梯度方法是否能提升逆强化学习中的收敛性与可靠性？
• RQ4 与现有逆强化学习算法相比，该方法在性能与稳定性方面表现如何？
• RQ5 该方法在何种类型的环境中展现出鲁棒性与高效性？

主要发现

• 在两个人工领域中，该方法在模仿专家行为方面比以往方法更加可靠和高效。
• 次微分的使用使得即使在非光滑策略映射下也能实现稳定优化。
• 自然梯度更新减少了参数空间的冗余性，从而加快收敛速度。
• 该算法成功推断出一个能生成与专家行为高度匹配的策略的奖励函数。
• 实验结果表明，与基线方法相比，该方法在收敛速度和稳定性方面表现更优。
• 该方法在具有复杂最优行为结构的环境中展现出鲁棒性。