[论文解读] Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act

Alexis Jacq, Johan Ferret+2 more|arXiv (Cornell University)|Mar 16, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了懒惰-马尔可夫决策过程（lazy-MDPs），这是一种新颖的强化学习形式化框架，通过引入一种‘懒惰’动作来推迟决策至默认策略，同时对非懒惰动作施加惩罚，以鼓励最小化干预。该方法使智能体能够学习何时以及如何行动，从而生成可解释的策略，突出关键状态，在硬性探索任务中实现竞争性或更优的性能，同时仅控制极少数状态。

ABSTRACT

Traditionally, Reinforcement Learning (RL) aims at deciding how to act optimally for an artificial agent. We argue that deciding when to act is equally important. As humans, we drift from default, instinctive or memorized behaviors to focused, thought-out behaviors when required by the situation. To enhance RL agents with this aptitude, we propose to augment the standard Markov Decision Process and make a new mode of action available: being lazy, which defers decision-making to a default policy. In addition, we penalize non-lazy actions in order to encourage minimal effort and have agents focus on critical decisions only. We name the resulting formalism lazy-MDPs. We study the theoretical properties of lazy-MDPs, expressing value functions and characterizing optimal solutions. Then we empirically demonstrate that policies learned in lazy-MDPs generally come with a form of interpretability: by construction, they show us the states where the agent takes control over the default policy. We deem those states and corresponding actions important since they explain the difference in performance between the default and the new, lazy policy. With suboptimal policies as default (pretrained or random), we observe that agents are able to get competitive performance in Atari games while only taking control in a limited subset of states.

研究动机与目标

• 为解决传统强化学习仅关注‘如何行动’的局限性，提出一种新范式，同时考虑‘何时行动’。
• 通过识别智能体偏离默认策略的状态，增强强化学习的可解释性，标识出关键决策点。
• 通过在次优或预训练策略之上学习稀疏控制，实现高效学习。
• 研究懒惰-MDPs的理论性质，包括值函数和最优性条件。
• 通过实证验证，懒惰-MDPs能够生成既高效又可解释的策略，尤其在稀疏奖励环境中表现优异。

提出的方法

• 通过扩展动作空间以包含一个‘懒惰’动作，将标准MDP扩展为懒惰-MDPs，该动作将决策推迟至默认策略。
• 修改奖励函数，通过超参数η对非懒惰动作施加惩罚，以鼓励最小化控制频率。
• 为懒惰-MDPs制定值函数和最优性条件，表明最优策略依赖于默认策略和控制惩罚。
• 在懒惰-MDP框架中使用随机或预训练的次优策略作为默认策略，训练DQN智能体。
• 利用学习策略与默认策略之间的状态级差异，解释哪些状态需要主动控制。
• 在Atari游戏中通过人类归一化的中位数得分和控制频率指标评估性能，与标准DQN和热重启基线进行比较。

实验结果

研究问题

• RQ1 一种学习‘何时行动’而非仅‘如何行动’的形式化框架，能否带来更可解释且更有效的强化学习策略？
• RQ2 控制频率的变化在密集奖励和稀疏奖励环境中如何影响性能？
• RQ3 当使用预训练策略作为默认策略时，懒惰-MDPs的学习性能是否能超越标准训练或热重启方法？
• RQ4 懒惰-MDPs在多大程度上能通过减少对主动控制的依赖，改善硬性奖励任务中的探索？
• RQ5 懒惰-MDPs的理论性质（如值函数和最优性）在多大程度上依赖于默认策略和控制惩罚？

主要发现

• 在Frostbite环境中，懒惰-MDPs训练的策略最高达到标准DQN基线200%的得分，且控制状态不足10%，表明探索能力显著提升。
• 在Gravitar中，智能体以低于10%的控制频率维持了接近100%的DQN得分，表明在低干预率下仍具鲁棒性。
• 当默认策略为次优DQN智能体（性能为50%）时，懒惰-MDPs在学习速度和稳定性上优于热重启方法，虽无渐近性能增益，但样本效率更高。
• 当对每款游戏单独调优控制惩罚η时，懒惰-MDPs在性能上显著优于从零开始训练，表明其对超参数敏感度高，具有强大潜力。
• 该方法生成了可解释的策略，能够突出关键状态（即需要控制的状态），无需事后解释方法即可揭示任务结构。
• 在Zaxxon和PrivateEye中，智能体分别实现了超过80%和100%的DQN基线得分，且控制频率低于30%，证实其在稀疏奖励环境中的有效性。