[论文解读] Causal Markov Decision Processes: Learning Good Interventions Efficiently

Yangyi Lu, Amirhossein Meisami+1 more|arXiv (Cornell University)|Feb 15, 2021

Advanced Bandit Algorithms Research参考文献 19被引用 6

一句话总结

本文提出了因果马尔可夫决策过程（C-MDPs），一种将因果结构融入序列决策制定的框架，以减少强化学习中的遗憾。通过利用因果图来建模干预措施，所提出的 C-UCBVI 算法实现了 $\tilde{O}(HS\sqrt{ZT})$ 的遗憾边界，其中 $Z$ 是依赖于因果图的量，可比动作空间大小 $A$ 指数级更小，从而在高维干预空间中实现高效学习。

ABSTRACT

We introduce causal Markov Decision Processes (C-MDPs), a new formalism for sequential decision making which combines the standard MDP formulation with causal structures over state transition and reward functions. Many contemporary and emerging application areas such as digital healthcare and digital marketing can benefit from modeling with C-MDPs due to the causal mechanisms underlying the relationship between interventions and states/rewards. We propose the causal upper confidence bound value iteration (C-UCBVI) algorithm that exploits the causal structure in C-MDPs and improves the performance of standard reinforcement learning algorithms that do not take causal knowledge into account. We prove that C-UCBVI satisfies an $ ilde{O}(HS\sqrt{ZT})$ regret bound, where $T$ is the the total time steps, $H$ is the episodic horizon, and $S$ is the cardinality of the state space. Notably, our regret bound does not scale with the size of actions/interventions ($A$), but only scales with a causal graph dependent quantity $Z$ which can be exponentially smaller than $A$. By extending C-UCBVI to the factored MDP setting, we propose the causal factored UCBVI (CF-UCBVI) algorithm, which further reduces the regret exponentially in terms of $S$. Furthermore, we show that RL algorithms for linear MDP problems can also be incorporated in C-MDPs. We empirically show the benefit of our causal approaches in various settings to validate our algorithms and theoretical results.

研究动机与目标

• 解决当动作/干预空间呈指数级增长时，强化学习中的维度灾难问题。
• 形式化一种新的 MDP 框架——因果 MDP（C-MDPs）——其包含对状态转移和奖励的因果结构。
• 开发一种强化学习算法 C-UCBVI，利用因果知识减少遗憾，且不随动作数量 $A$ 增大而增长。
• 通过 CF-UCBVI 将该方法扩展至因子化 MDP，进一步降低遗憾对状态空间大小 $S$ 的依赖。
• 在具有不同干预和状态维度的合成环境中，通过实证验证理论改进。

提出的方法

• 通过在干预措施、关键变量及其对状态转移和奖励的影响上嵌入因果图，提出因果 MDP（C-MDPs）。
• 设计因果上界置信度值迭代（C-UCBVI）算法，利用因果结构引导探索并减少遗憾。
• 定义一个依赖于因果图的量 $Z$，表示不同父变量配置的数量，该量在遗憾边界中替代了 $A$。
• 将 C-UCBVI 与因子化 MDP 技术结合，提出因果因子化 UCBVI（CF-UCBVI）算法，降低对完整状态空间大小 $S$ 的依赖。
• 证明 C-UCBVI 实现了 $\tilde{O}(HS\sqrt{ZT})$ 的遗憾边界，且不依赖于 $A$，而 CF-UCBVI 消除了对 $S$ 的显式依赖。
• 通过将因果结构整合到线性函数逼近设置中，将该框架扩展至线性 MDP。

实验结果

研究问题

• RQ1 当干预数量 $A$ 呈指数级增长时，能否利用因果结构来减少强化学习中的遗憾？
• RQ2 用更小的、依赖于因果图的量 $Z$ 替代对 $A$ 的依赖，是否能带来可证明更优的遗憾边界？
• RQ3 将因果建模与因子化 MDP 结合，能否通过消除对状态空间大小 $S$ 的显式依赖，进一步降低遗憾？
• RQ4 在具有强因果结构或状态因子化结构的环境中，C-UCBVI 的性能与标准 UCBVI 和因子化 UCBVI 相比如何？
• RQ5 能否将因果强化学习算法扩展至线性 MDP，同时保持改进的遗憾缩放特性？

主要发现

• C-UCBVI 实现了 $\tilde{O}(HS\sqrt{ZT})$ 的遗憾边界，其规模依赖于 $Z$——一个依赖于因果图的量——而非动作数量 $A$，在 $Z \ll A$ 的情况下可实现指数级的遗憾降低。
• 在实验中，当 $A$ 和 $S$ 均较大时，CF-UCBVI 在性能上优于 UCBVI、C-UCBVI 和 F-UCBVI，得益于对因果结构和因子化结构的联合利用。
• 当干预数量增加（通过增大 $m$）时，C-UCBVI 和 CF-UCBVI 的遗憾保持稳定，而 UCBVI 和 F-UCBVI 的遗憾显著上升。
• 随着状态维度 $d_s$ 增加，C-UCBVI 的遗憾显著增长，证实其对状态空间大小的敏感性，而 CF-UCBVI 由于有效利用了因子化结构，保持了鲁棒性。
• 即使存在因子化结构，F-UCBVI 的表现仍劣于 C-UCBVI 和 CF-UCBVI，原因在于缺乏因果知识。
• 实证结果验证了理论主张：使用因果结构的算法（C-UCBVI 和 CF-UCBVI）在高维干预和状态空间中始终优于非因果基线算法。