[论文解读] Counterfactual Credit Assignment in Model-Free Reinforcement Learning

Thomas Mesnard, Théophane Weber+12 more|arXiv (Cornell University)|Nov 18, 2020

Reinforcement Learning in Robotics参考文献 39被引用 8

一句话总结

本文提出反事实信用分配（CCA），一种无需模型的强化学习方法，通过利用事后信息估计反事实回报，改善信用分配，实现更低方差的策略梯度更新。该方法形式化了一类具有可证明无偏性和低方差的策略梯度算法，在具有长时序依赖和噪声动力学的复杂环境中得到验证。

ABSTRACT

Credit assignment in reinforcement learning is the problem of measuring an action's influence on future rewards. In particular, this requires separating skill from luck, i.e. disentangling the effect of an action on rewards from that of external factors and subsequent actions. To achieve this, we adapt the notion of counterfactuals from causality theory to a model-free RL setup. The key idea is to condition value functions on future events, by learning to extract relevant information from a trajectory. We formulate a family of policy gradient algorithms that use these future-conditional value functions as baselines or critics, and show that they are provably low variance. To avoid the potential bias from conditioning on future information, we constrain the hindsight information to not contain information about the agent's actions. We demonstrate the efficacy and validity of our algorithm on a number of illustrative and challenging problems.

研究动机与目标

• 解决经典无模型强化学习中由于粗粒度、基于时间的信用分配导致的高方差和数据效率低下问题。
• 克服无模型方法在执行反事实推理（即评估若采取不同动作会如何）方面的局限性。
• 提出一种方法，通过在不依赖世界模型的前提下，将价值函数条件化于未来事件，实现细粒度的信用分配。
• 通过将事后信息限制在不包含智能体动作依赖的范围内，确保策略梯度估计的无偏性和低方差。
• 在具有外生噪声、长期依赖性和任务交错的环境中验证该方法的有效性，这些环境是标准强化学习方法失效的典型场景。

提出的方法

• 提出一类使用未来条件价值函数作为基线或评论家的策略梯度估计器，其源自反事实推理。
• 将价值函数条件化于未来观测和结果，以估计未采取动作的反事实回报，同时排除关于智能体自身动作的信息。
• 引入一种反事实优势估计器（CF-ITE），通过计算实际结果与反事实结果之间的差异，作为低方差基线。
• 使用结构因果模型（SCM）形式化该方法，以定义反事实，确保在适当条件下的无偏估计。
• 通过推导用于反事实估计的事后信息的充分性条件，保证方差的低水平。
• 实现一种实用算法 CCA-PG，将这些组件整合进训练循环中，无需学习环境模型。

实验结果

研究问题

• RQ1 是否可以在不学习世界模型的前提下，有效将反事实推理应用于无模型强化学习？
• RQ2 如何从轨迹数据中构建反事实价值函数，以降低策略梯度的方差？
• RQ3 为避免反事实信用分配中的偏差，对事后信息需要施加何种约束？
• RQ4 在哪些类型的环境中，反事实信用分配显著优于标准无模型强化学习？
• RQ5 结构因果模型（SCM）的选择如何影响策略学习中反事实优势估计的方差？

主要发现

• 所提出的 CCA-PG 算法在策略梯度估计中显著降低了方差，尤其在具有长时序依赖的环境中表现突出。
• 在医疗案例中，模型 I 的反事实优势估计器方差为 1/6，而模型 II 的方差为 1，表明 SCM 结构的选择直接影响估计效率。
• 该方法在具有外生噪声的不完全可观测环境中实现了有效的信用分配，而标准方法因方差过高而失效。
• 实证结果表明，CCA-PG 在涉及任务交错和延迟奖励的复杂环境中优于基线方法。
• 理论分析证实，在所提出的条件约束下，反事实优势估计器是无偏的，且方差低于标准基线。
• 该框架通过在无模型强化学习背景下形式化反事实，成功将因果推断理论与强化学习相结合，为分离技能与运气提供了原则性方法。