[论文解读] CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning

Sheng Yue, Guanbo Wang+5 more|arXiv (Cornell University)|Feb 9, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

CLARE 提出了一种保守的基于模型的奖励学习框架，用于离线逆强化学习，通过在利用专家数据和多样化离线数据之间取得平衡，并借助学习到的动力学模型实现谨慎探索，从而减轻奖励外推误差。该方法在小样本数据集上实现了可证明的性能提升与泛化能力，优于 MuJoCo 连续控制任务中的最先进基线方法。

ABSTRACT

This work aims to tackle a major challenge in offline Inverse Reinforcement Learning (IRL), namely the reward extrapolation error, where the learned reward function may fail to explain the task correctly and misguide the agent in unseen environments due to the intrinsic covariate shift. Leveraging both expert data and lower-quality diverse data, we devise a principled algorithm (namely CLARE) that solves offline IRL efficiently via integrating "conservatism" into a learned reward function and utilizing an estimated dynamics model. Our theoretical analysis provides an upper bound on the return gap between the learned policy and the expert policy, based on which we characterize the impact of covariate shift by examining subtle two-tier tradeoffs between the exploitation (on both expert and diverse data) and exploration (on the estimated dynamics model). We show that CLARE can provably alleviate the reward extrapolation error by striking the right exploitation-exploration balance therein. Extensive experiments corroborate the significant performance gains of CLARE over existing state-of-the-art algorithms on MuJoCo continuous control tasks (especially with a small offline dataset), and the learned reward is highly instructive for further learning.

研究动机与目标

• 解决离线逆强化学习中因协变量偏移导致的奖励外推误差这一关键挑战，即在分布外状态中，学习到的奖励会误导智能体。
• 克服现有离线 IRL 方法仅依赖专家演示而无法泛化到未见状态-动作分布的局限性。
• 通过利用高质量专家数据和低质量多样化数据，提升状态-动作空间的覆盖度，从而改善奖励泛化能力。
• 开发一种理论基础坚实的算法，通过保守奖励设计，可证明地缩小学习策略与专家策略之间的回报差距。
• 通过集成基于模型的轨迹生成与保守奖励正则化，实现在数据稀缺场景下的安全且高效的策略学习。

提出的方法

• 引入一种双层权衡机制，平衡对专家数据和多样化离线数据的利用，同时通过模型轨迹实现谨慎探索，以脱离数据流形。
• 制定一种保守奖励学习目标，对从学习到的动力学模型生成的分布外状态-动作对上的高奖励值施加惩罚。
• 使用可学习的逐点权重，在奖励函数优化过程中动态平衡专家数据与多样化数据的贡献。
• 集成动力学模型以生成合成轨迹用于探索，从而在无需在线交互的情况下提升状态-动作空间的覆盖度。
• 推导出学习策略与专家策略之间回报差距的上界，并据此推导出最优权重参数，以最小化性能退化。
• 在策略优化目标中引入卡方散度正则项，以最小化目标策略与学习策略之间的分布差异。

实验结果

研究问题

• RQ1 如何使离线 IRL 算法对有限专家演示中因协变量偏移导致的奖励外推误差具有鲁棒性？
• RQ2 在通过学习到的动力学模型安全探索的前提下，如何实现对专家数据与多样化离线数据利用之间的最优平衡？
• RQ3 保守奖励学习与基于模型的轨迹生成是否能可证明地缩小学习策略与专家策略之间的性能差距？
• RQ4 在低数据场景下，多样化数据的引入如何改善奖励泛化能力？
• RQ5 在基于模型的探索下，保守离线 IRL 的回报差距可提供何种理论保证？

主要发现

• CLARE 在 MuJoCo 连续控制基准测试中显著优于最先进离线 IRL 方法，尤其在小样本离线数据集设置下表现突出。
• 理论分析提供了学习策略与专家策略之间回报差距的上界，该上界可通过推导出的最优权重参数实现最小化。
• CLARE 的保守奖励函数能有效捕捉专家意图，同时对分布外状态的过度自信预测施加惩罚，降低误导风险。
• 利用学习到的动力学模型进行受控探索，显著提升了状态-动作空间的覆盖度，并使策略泛化能力超越专家数据流形。
• 该方法生成了极具指导意义的奖励函数，支持下游模仿学习，经源代码实现与消融实验验证。
• 实证结果证实，CLARE 的双层利用-探索权衡机制相比基线方法，能实现更安全、更鲁棒的策略学习。