[论文解读] Invariant Causal Prediction for Block MDPs

Amy Zhang, Clare Lyle+6 more|arXiv (Cornell University)|Mar 12, 2020

Machine Learning and Algorithms参考文献 31被引用 37

一句话总结

本论文引入 invariant causal prediction (ICP) 来学习 model-irrelevance state abstractions (MISA) 在 Block MDPs 中，从而实现跨环境的泛化并提供理论边界，同时在线性和非线性实验中显示出相较基线的泛化能力提升。

ABSTRACT

Generalization across environments is critical to the successful application of reinforcement learning algorithms to real-world challenges. In this paper, we consider the problem of learning abstractions that generalize in block MDPs, families of environments with a shared latent state space and dynamics structure over that latent space, but varying observations. We leverage tools from causal inference to propose a method of invariant prediction to learn model-irrelevance state abstractions (MISA) that generalize to novel observations in the multi-environment setting. We prove that for certain classes of environments, this approach outputs with high probability a state abstraction corresponding to the causal feature set with respect to the return. We further provide more general bounds on model error and generalization error in the multi-environment setting, in the process showing a connection between causal variable selection and the state abstraction framework for MDPs. We give empirical evidence that our methods work in both linear and nonlinear settings, attaining improved generalization over single- and multi-task baselines.

研究动机与目标

• 在观测在不同环境中变化但潜在动力学是共享的情形下，激发强化学习中的鲁棒泛化。
• 提出并形式化一个带环境干预的 block MDP 框架，以识别因果的、与任务相关的状态特征。
• 利用 invariant causal prediction 提取适用于跨环境泛化的 model-irrelevance 状态抽象。
• 提供将因变量选择与状态抽象联系起来的理论界限，并在线性与非线性设定中展示实际性能。

提出的方法

• 将具有共享潜在动力学和环境特异观测的 Block MDP 形式化，对观测分量引入干预。
• 应用 invariant causal prediction (ICP) 以识别奖励的因果祖先并构建 model-irrelevance state abstractions (MISA)。
• 提供两种学习方法：一是线性 ICP 基于变量选择的方法（Algorithm 1），二是非线性、基于梯度的 MISA 目标（Algorithm 2），类似于 invariant risk minimization (IRM)。
• 推导将模型误差与通过学习的抽象所实现的等同同胚（bisimulation）联系起来的泛化界限，并给出在不变表示下 Q/value 差值的界限。
• 证明在线性设定中，ICP 能恢复对泛化有帮助的最小因果特征集；在非线性设定中，对跨多个环境优化不变表示。

实验结果

研究问题

• RQ1 不变因果预测是否能够识别在跨 Block MDP 环境中支配回报的最小因果特征集？
• RQ2 通过 ICP 学得的 model-irrelevance state abstractions (MISA) 是否能泛化到具有共享潜在动力学的未见环境？
• RQ3 在多环境 RL 中，哪些理论保证（误差界限）能够将因果变量选择与状态抽象质量联系起来？
• RQ4 在线性和非线性 MISA 方法在实际中是否相较基线改善对虚假相关的泛化？

主要发现

• 在 Assumptions 1–3 下，基于奖励的因果祖先的状态抽象为该族中的每个环境提供了一个 model-irrelevance 抽象。
• 在线性设定中，ICP 可以恢复对跨环境泛化有用的最小因果特征集，消除对泛化有害的虚假变量。
• 非线性 MISA 方法（基于梯度）在 DeepMind Control 任务的实证测试中，相对于单任务、多任务基线和 IRM，获得了更好的泛化。
• 理论结果将学习的抽象与同构/双等价(bisimulation)联系起来，并给出在使用不变表示时的模型误差与 Q/value 差异的界限。
• 聚合样本泛化界限随所有训练环境的总样本数量，而非环境数量进行放大。