[论文解读] A Survey on Causal Reinforcement Learning

Yan Zeng, Ruichu Cai+3 more|arXiv (Cornell University)|Feb 10, 2023

Advanced Causal Inference Techniques被引用 6

一句话总结

本综述提出了一种因果强化学习（CRL）的全面分类法，将现有方法分为依赖先验因果知识与从数据中学习因果关系两类。综述覆盖了MDP、POMDP、Bandits和DTR等框架下的CRL，使用标准化指标评估方法，并概述了开源资源与真实世界应用，将CRL定位为实现数据高效且可解释的强化学习系统的关键路径。

ABSTRACT

While Reinforcement Learning (RL) achieves tremendous success in sequential decision-making problems of many domains, it still faces key challenges of data inefficiency and the lack of interpretability. Interestingly, many researchers have leveraged insights from the causality literature recently, bringing forth flourishing works to unify the merits of causality and address well the challenges from RL. As such, it is of great necessity and significance to collate these Causal Reinforcement Learning (CRL) works, offer a review of CRL methods, and investigate the potential functionality from causality toward RL. In particular, we divide existing CRL approaches into two categories according to whether their causality-based information is given in advance or not. We further analyze each category in terms of the formalization of different models, ranging from the Markov Decision Process (MDP), Partially Observed Markov Decision Process (POMDP), Multi-Arm Bandits (MAB), and Dynamic Treatment Regime (DTR). Moreover, we summarize the evaluation matrices and open sources while we discuss emerging applications, along with promising prospects for the future development of CRL.

研究动机与目标

• 通过整合因果推断原则，解决传统强化学习（RL）中存在的数据效率低下与可解释性不足问题。
• 系统性地根据因果信息是否预先提供或需被发现，对现有CRL方法进行分类。
• 在多种序贯决策框架（包括MDP、POMDP、多臂Bandits和动态治疗方案）中回顾CRL方法。
• 总结评估指标、开源实现及在医疗、机器人和自主系统等领域的新兴应用。
• 识别基于知识、记忆、认知和应用的CRL未来研究方向。

提出的方法

• 将CRL方法划分为两类：(1) 已知先验因果结构的CRL，以及(2) 因果结构未知或从数据中学习的CRL。
• 在标准强化学习框架（如马尔可夫决策过程（MDP）、部分可观察MDP（POMDP）、多臂Bandits（MAB）和动态治疗方案（DTR））中形式化CRL。
• 将因果推断技术（如do-演算、反事实推理和结构因果模型）整合到强化学习策略学习与价值估计中。
• 调研并比较利用因果发现（如从观察性数据中发现）以提升样本效率与策略泛化能力的方法。
• 使用标准强化学习指标（如累计回报、样本效率）和因果特异性指标（如平均处理效应、反事实准确率）评估CRL方法。
• 突出开源实现与基准环境，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 当交互数据稀缺或成本高昂时，因果推断如何提升强化学习中的数据效率？
• RQ2 因果结构（如因果图）在深度强化学习智能体中如何增强可解释性与策略透明度？
• RQ3 假设已知因果结构的CRL方法与从数据中发现因果结构的方法之间，关键差异与权衡是什么？
• RQ4 CRL方法在MDP、POMDP和DTR等不同序贯决策设置中的表现如何？
• RQ5 CRL最具前景的应用领域是什么？在现实系统中部署CRL仍面临哪些挑战？

主要发现

• 因果强化学习通过支持反事实推理与基于干预的策略学习，显著提升了样本效率，减少了对大量环境交互的依赖。
• 整合先验因果知识的CRL方法在高风险领域（如医疗与机器人）中展现出更优的泛化能力与可解释性。
• CRL中的因果发现使智能体能够从观察性数据中学习因果关系，即使在环境动态部分未知的情况下也能支持策略学习。
• 将因果模型与层次化及元强化学习框架结合，可实现更自适应、更具泛化能力的高层规划。
• 基于应用的CRL在自动驾驶、医疗治疗与金融交易等领埴展现出巨大潜力，其中因果推理有助于实现更安全可靠的决策。
• 大规模、多样化且具代表性的现实世界数据集对推动CRL发展至关重要，数据驱动与数据融合的CRL技术正成为现实部署的关键推动因素。