[论文解读] Causal Reinforcement Learning: A Survey

Zhi‐Hong Deng, Jing Jiang+2 more|arXiv (Cornell University)|Jul 4, 2023

Auction Theory and Applications被引用 6

一句话总结

本综述提出因果强化学习（Causal RL）作为一种将因果推断整合到强化学习中的框架，以提升样本效率、泛化能力、知识迁移能力以及决策可解释性。通过建模因果关系并利用不变性，Causal RL 解决了传统强化学习的局限性，如虚假相关性和泛化能力差的问题，为复杂环境中的更安全、更稳健的决策提供了系统性方法。

ABSTRACT

Reinforcement learning is an essential paradigm for solving sequential decision problems under uncertainty. Despite many remarkable achievements in recent decades, applying reinforcement learning methods in the real world remains challenging. One of the main obstacles is that reinforcement learning agents lack a fundamental understanding of the world and must therefore learn from scratch through numerous trial-and-error interactions. They may also face challenges in providing explanations for their decisions and generalizing the acquired knowledge. Causality, however, offers a notable advantage as it can formalize knowledge in a systematic manner and leverage invariance for effective knowledge transfer. This has led to the emergence of causal reinforcement learning, a subfield of reinforcement learning that seeks to enhance existing algorithms by incorporating causal relationships into the learning process. In this survey, we comprehensively review the literature on causal reinforcement learning. We first introduce the basic concepts of causality and reinforcement learning, and then explain how causality can address core challenges in non-causal reinforcement learning. We categorize and systematically review existing causal reinforcement learning approaches based on their target problems and methodologies. Finally, we outline open issues and future directions in this emerging field.

研究动机与目标

• 通过整合因果推理，解决传统强化学习的局限性，如样本效率低下和对虚假相关性的敏感性。
• 通过利用不变的因果机制，提升在不同环境和任务之间的泛化能力和知识迁移能力。
• 通过利用反事实推理和因果建模，提升现实世界强化学习应用中的决策可解释性、公平性和安全性。
• 基于现有 Causal RL 方法解决强化学习核心挑战的能力，系统性地分类和评估现有方法。
• 识别当前基准中的不足，并倡导开发更加透明、基于因果的环境，以加速现实世界的应用。

提出的方法

• 将结构因果模型（SCM）和 do-演算整合到强化学习框架中，以形式化干预和反事实推理。
• 在先验知识有限的情况下，使用因果表征学习从未观测的原始数据中推断因果结构。
• 应用不变风险最小化（IRM）和因果表征学习，以提升在分布偏移下的泛化能力。
• 利用多任务学习和元学习范式，促进跨环境的因果发现和策略迁移。
• 使用潜在结果和 do-演算形式化因果效应，从未观测数据中估计干预效应。
• 整合人类提供的因果知识，以指导探索，减少对试错学习的依赖。

实验结果

研究问题

• RQ1 因果建模如何提升强化学习中的样本效率和泛化能力？
• RQ2 因果推断在离线和部分可观测的强化学习设置中，如何帮助缓解虚假相关性？
• RQ3 反事实推理如何增强自动驾驶等现实世界强化学习应用中的决策能力和安全性？
• RQ4 当因果信息不完整或未被观测时，当前 Causal RL 方法的根本局限性是什么？
• RQ5 如何改进现有基准，以支持对 Causal RL 算法的透明、多维度评估？

主要发现

• Causal RL 通过基于原则的干预估计，使智能体能够从更少的交互中学习，从而提升样本效率。
• 因果建模通过识别跨环境的不变因果机制，减少对虚假相关性的敏感性，从而提升泛化能力。
• 反事实推理使智能体能够评估‘如果’情景，例如判断若采取不同动作是否会发生碰撞。
• 当前 Causal RL 的基准通常为黑箱系统，透明度有限，阻碍了可复现性和因果理解。
• 尽管已有进展，但现实世界部署仍受限于部分可观测性、安全约束以及对可解释性的需求。
• 整合人类因果知识可显著提升学习效率和策略鲁棒性，尤其是在数据稀缺的场景中。