[论文解读] Causality and Batch Reinforcement Learning: Complementary Approaches To Planning In Unknown Domains

James Sanford Bannon, Brad Windsor+2 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Causal Inference Techniques参考文献 62被引用 9

一句话总结

本文在理论与实践层面建立了因果推断与批量强化学习（RL）之间的联系，表明强化学习中的离策略评估与因果推断中的处理效应估计本质上是解决同一类反事实问题。通过将因果推断方法（如双重稳健估计和do-演算）整合到批量RL中，作者展示了在无需在线交互的情况下，能够提升策略评估的泛化能力并降低误差，从而实现医疗保健和自动驾驶等高风险领域中的更安全部署。

ABSTRACT

Reinforcement learning algorithms have had tremendous successes in online learning settings. However, these successes have relied on low-stakes interactions between the algorithmic agent and its environment. In many settings where RL could be of use, such as health care and autonomous driving, the mistakes made by most online RL algorithms during early training come with unacceptable costs. These settings require developing reinforcement learning algorithms that can operate in the so-called batch setting, where the algorithms must learn from set of data that is fixed, finite, and generated from some (possibly unknown) policy. Evaluating policies different from the one that collected the data is called off-policy evaluation, and naturally poses counter-factual questions. In this project we show how off-policy evaluation and the estimation of treatment effects in causal inference are two approaches to the same problem, and compare recent progress in these two areas.

研究动机与目标

• 解决在在线探索成本过高的高风险领域中安全策略评估的挑战。
• 识别出批量RL中的离策略评估与因果推断中的处理效应估计在本质上是相同的反事实问题。
• 证明因果推断技术可在无在线交互的情况下提升批量RL的泛化能力并降低误差。
• 通过对比数据探索、误差估计与理论下界，弥合因果推断与RL之间的方法论鸿沟。
• 提出将因果推断整合到更广泛的RL框架（如迁移学习与多任务学习）中，以增强其在现实世界中的适用性。

提出的方法

• 将潜在结果框架与结构因果模型（SCMs）正式关联到上下文Bandit中的序列决策问题。
• 应用因果推断技术（尤其是双重稳健估计器以及后门/前门调整）于批量RL中的离策略评估。
• 利用do-演算建模干预并估计不同策略下的反事实结果，与RL中的策略评估相呼应。
• 将主动因果学习（例如通过弦图的最优着色选择干预）整合到批量RL的探索策略中。
• 利用Cramér-Rao下界分析因果与RL估计器中方差的理论极限，表明二者收敛至相同的下界。
• 提出一种基于梯度的更新规则，用于在批量RL中优化行为策略，其依据为因果误差估计与反事实推理。

实验结果

研究问题

• RQ1 在反事实推理的底层机制上，批量RL中的离策略评估与因果推断中的处理效应估计之间有何关联？
• RQ2 在缺乏在线交互的情况下，因果推断方法在多大程度上可提升批量RL算法的泛化能力与鲁棒性？
• RQ3 是否可将主动因果学习策略（如自适应干预选择）用于引导批量RL设置下的数据高效探索？
• RQ4 在相同条件下，因果与批量RL估计器是否均收敛至相同的理论下界（如Cramér-Rao下界）？
• RQ5 如何利用因果结构发现与do-演算来增强未知环境中的反事实策略评估？

主要发现

• 批量RL中的离策略评估与因果推断中的处理效应估计在反事实结果的处理上，数学上与概念上完全等价。
• 来自因果推断的双重稳健估计器显著降低了方差，并提升了批量RL的泛化能力，使其趋近于Cramér-Rao下界。
• 因果推断方法（如后门与前门调整）即使在行为策略未知的情况下，也能为策略价值提供有效且一致的估计。
• 能够自适应选择干预的主动因果学习算法可映射为RL中的行为策略更新，从而实现数据高效的探索。
• 理论分析证实，因果推断与批量RL估计器在方差上均达到相同的下界，验证了其共享的统计基础。
• 将因果推理整合到RL中，可通过实现无需在线试错的准确反事实推理，显著提升现实应用中的安全性与可靠性。