[论文解读] Active Exploration for Inverse Reinforcement Learning

David Lindner, Andreas Krause+1 more|arXiv (Cornell University)|Jul 18, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了AceIRL，这是首个在不依赖环境生成模型的前提下，具备样本复杂度边界约束的主动逆强化学习算法。它通过构建对可能奖励函数的置信区间，主动探索未知的转移动态和专家策略，选择能减少不确定性的探索策略，从而在最坏情况下实现与具有生成模型的算法相当的样本复杂度，并在次优性差距有利时获得更紧的与问题相关的边界。

ABSTRACT

Inverse Reinforcement Learning (IRL) is a powerful paradigm for inferring a reward function from expert demonstrations. Many IRL algorithms require a known transition model and sometimes even a known expert policy, or they at least require access to a generative model. However, these assumptions are too strong for many real-world applications, where the environment can be accessed only through sequential interaction. We propose a novel IRL algorithm: Active exploration for Inverse Reinforcement Learning (AceIRL), which actively explores an unknown environment and expert policy to quickly learn the expert's reward function and identify a good policy. AceIRL uses previous observations to construct confidence intervals that capture plausible reward functions and find exploration policies that focus on the most informative regions of the environment. AceIRL is the first approach to active IRL with sample-complexity bounds that does not require a generative model of the environment. AceIRL matches the sample complexity of active IRL with a generative model in the worst case. Additionally, we establish a problem-dependent bound that relates the sample complexity of AceIRL to the suboptimality gap of a given IRL problem. We empirically evaluate AceIRL in simulations and find that it significantly outperforms more naive exploration strategies.

研究动机与目标

• 为了解决现有逆强化学习方法在仅能进行序列交互的真实世界场景中，对已知转移模型或专家策略的依赖问题。
• 开发一种主动逆强化学习框架，通过针对未知环境的针对性探索，高效学习专家的奖励函数。
• 为无生成模型访问的主动逆强化学习提供理论上的样本复杂度边界，这是先前工作中一个关键的实际限制。
• 刻画转移模型和专家策略中的估计误差如何传播到奖励函数估计及下游策略性能中。
• 通过模拟环境中的实证验证，证明AceIRL在学习效率和收敛速度上显著优于朴素探索策略。

提出的方法

• AceIRL利用与环境及专家进行序列交互所获得的数据，构建对可能奖励函数的置信区间。
• 它将探索建模为一个序列决策问题，其中每条新轨迹的选择均旨在减少奖励函数估计的不确定性。
• 该算法采用两阶段方法：基于当前不确定性的贪婪探索策略，以及通过凸优化预测未来不确定性减少的更复杂策略。
• 它整合了来自转移模型和专家策略的不确定性估计，优先在最能提供奖励函数信息的区域进行探索。
• AceIRL采用最大熵逆强化学习作为底层的逆强化学习求解器，但该方法对具体使用的逆强化学习算法不敏感。
• 该算法在每次迭代中求解一个凸优化问题，以选择能最小化未来期望不确定性的下一个探索策略，从而实现更紧的与问题相关的样本复杂度边界。

实验结果

研究问题

• RQ1 在不依赖生成模型的前提下，主动逆强化学习中的探索能否实现与拥有生成模型的算法相当的样本复杂度？
• RQ2 转移模型和专家策略中的估计误差如何共同影响恢复出的奖励函数的准确性以及最终策略的性能？
• RQ3 何种探索策略能最小化在未知环境中恢复近似最优奖励函数所需的交互次数？
• RQ4 能否为无生成模型访问的主动逆强化学习推导出反映IRL问题内在难度（如次优性差距）的与问题相关的样本复杂度边界？
• RQ5 AceIRL在样本效率和收敛速度方面与朴素探索策略相比表现如何？

主要发现

• AceIRL在最坏情况下实现了与假设可访问生成模型的主动逆强化学习算法相当的样本复杂度，尽管其本身并不依赖此类假设。
• 该算法提供了与问题相关的样本复杂度边界，且在次优性差距较大时边界更紧，表明在较简单的IRL问题中学习速度更快。
• 第二阶段探索策略（即优化未来不确定性减少的策略）相比贪婪策略能获得更紧的样本复杂度边界，但代价是每次迭代需求解一个凸优化问题。
• 在模拟环境中的实证评估表明，AceIRL在学习速度和最终策略性能方面显著优于朴素探索策略。
• 该方法可推广至无奖励探索设置，在该场景下其性能优于现有基线方法（如Reward-free UCRL），尤其在较大批量设置下表现更优。
• 作者发布了代码以确保可复现性，支持实验的复现以及在无生成模型条件下对主动逆强化学习的进一步研究。