[论文解读] Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning

Wenhao Ding, Haohong Lin+2 more|arXiv (Cornell University)|Jul 19, 2022

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文提出 GRADER，一种变分因果推理框架，通过将因果图作为隐变量建模，增强目标条件强化学习（GCRL）。该方法交替进行基于干预数据的因果发现与策略学习，实现了数据高效、可解释且可泛化的策略，并具备理论性能保证，在九项推理密集型任务中表现出色。

ABSTRACT

As a pivotal component to attaining generalizable solutions in human intelligence, reasoning provides great potential for reinforcement learning (RL) agents' generalization towards varied goals by summarizing part-to-whole arguments and discovering cause-and-effect relations. However, how to discover and represent causalities remains a huge gap that hinders the development of causal RL. In this paper, we augment Goal-Conditioned RL (GCRL) with Causal Graph (CG), a structure built upon the relation between objects and events. We novelly formulate the GCRL problem into variational likelihood maximization with CG as latent variables. To optimize the derived objective, we propose a framework with theoretical performance guarantees that alternates between two steps: using interventional data to estimate the posterior of CG; using CG to learn generalizable models and interpretable policies. Due to the lack of public benchmarks that verify generalization capability under reasoning, we design nine tasks and then empirically show the effectiveness of the proposed method against five baselines on these tasks. Further theoretical analysis shows that our performance improvement is attributed to the virtuous cycle of causal discovery, transition modeling, and policy training, which aligns with the experimental evidence in extensive ablation studies.

研究动机与目标

• 为解决强化学习中缺乏因果推理的问题，特别是在泛化到未见目标方面。
• 通过从环境交互中发现因果结构，提升 GCRL 的数据效率与可解释性。
• 构建一个理论基础坚实的框架，联合优化因果发现、转移建模与策略学习。
• 在需要组合性与鲁棒性推理的分布偏移场景下评估该方法。
• 证明因果结构发现可提升泛化能力，超越监督或模仿学习基线。

提出的方法

• 将 GCRL 建模为以因果图（CG）作为隐变量的变分似然最大化问题。
• 利用干预数据通过基于约束的独立性检验估计因果图的后验分布。
• 交替执行两个步骤：(1) 使用干预数据进行因果图发现；(2) 使用推断出的 CG 进行策略与转移模型学习。
• 采用结构化神经网络架构，结合节点特定的编码器与解码器，建模基于因果图的状态转移。
• 引入稀疏正则化项与基于 MINE 的互信息估计，以提升因果结构识别效果。
• 在温和假设（忠实性、马尔可夫性质）下，提供因果图可识别性与性能下界理论保证。

实验结果

研究问题

• RQ1 以因果图为隐变量的变分推理框架是否能提升目标条件强化学习中的泛化能力？
• RQ2 联合学习因果发现、转移建模与策略训练是否比端到端强化学习更具数据效率与性能优势？
• RQ3 所提方法在虚假相关性偏移与组合性目标变化下如何泛化？
• RQ4 所发现的因果图是否可解释，并可用于解释智能体行为？
• RQ5 迭代因果发现对策略成功率与样本效率有何影响？

主要发现

• GRADER 在九项推理密集型任务中，包括分布内、虚假相关性与组合泛化设置，均取得高于五种强基线的更高成功率。
• 该方法展现出卓越的数据效率，相较于先前基于分数的方法，实现因果发现所需样本更少。
• 消融实验表明，因果发现、转移建模与策略训练之间的良性循环是性能提升的关键驱动力。
• 所发现的因果图具有可解释性，且与人类定义的结构一致，支持对智能体决策的后验分析。
• 理论分析证实，在标准因果假设下，因果图具有唯一可识别性及性能边界。
• 实证结果表明，因果发现与策略学习的联合优化显著提升了零样本泛化性能。