[论文解读] Model-Invariant State Abstractions for Model-Based Reinforcement Learning

Manan Tomar, Amy Zhang+3 more|arXiv (Cornell University)|Feb 19, 2021

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出了一种基于模型不变性状态抽象的模型化强化学习（MBRL）方法，利用动力学中的因果稀疏性以提升泛化能力。通过仅基于每个状态变量的因果父节点学习表征，该方法实现了对未见状态-动作组合的组合泛化，在MuJoCo的Humanoid等复杂控制任务中实现了更优的样本效率和模型精度。

ABSTRACT

Accuracy and generalization of dynamics models is key to the success of model-based reinforcement learning (MBRL). As the complexity of tasks increases, so does the sample inefficiency of learning accurate dynamics models. However, many complex tasks also exhibit sparsity in the dynamics, i.e., actions have only a local effect on the system dynamics. In this paper, we exploit this property with a causal invariance perspective in the single-task setting, introducing a new type of state abstraction called \ extit{model-invariance}. Unlike previous forms of state abstractions, a model-invariance state abstraction leverages causal sparsity over state variables. This allows for compositional generalization to unseen states, something that non-factored forms of state abstractions cannot do. We prove that an optimal policy can be learned over this model-invariance state abstraction and show improved generalization in a simple toy domain. Next, we propose a practical method to approximately learn a model-invariant representation for complex domains and validate our approach by showing improved modelling performance over standard maximum likelihood approaches on challenging tasks, such as the MuJoCo-based Humanoid. Finally, within the MBRL setting we show strong performance gains with respect to sample efficiency across a host of other continuous control tasks.

研究动机与目标

• 为解决模型化强化学习（MBRL）在分布偏移下动力学模型泛化能力差的问题。
• 利用状态动力学中的稀疏性——即每个状态变量仅依赖于先前变量的一个小部分——作为归纳偏置以提升泛化能力。
• 形式化一种新型状态抽象——模型不变性，通过仅关注状态变量的因果父节点，确保在干预下的不变性。
• 开发一种在复杂领域中使用函数逼近学习模型不变表征的实用方法。
• 证明使用模型不变抽象可提升MBRL中的样本效率和模型精度。

提出的方法

• 将模型不变性定义为仅捕捉每个状态变量因果父节点的状态抽象，以确保在干预下的不变性。
• 利用因果不变性原理识别在不同干预下始终能一致预测下一状态变量的特征。
• 构建一个表征学习目标，促使模型仅依赖于下一状态变量的不变因果预测因子。
• 使用带有稀疏性诱导不变性目标的神经网络近似模型不变表征，无需显式学习图结构。
• 将学习到的不变模型集成到MBRL流水线中，例如与SAC结合，以支持规划与策略优化。
• 使用最大似然法训练模型，结合不变表征，确保对未见状态-动作分布的泛化能力。

实验结果

研究问题

• RQ1 通过模型不变性状态抽象利用动力学中的因果稀疏性，能否提升MBRL中的泛化能力？
• RQ2 仅基于每个状态变量的因果父节点的表征，是否足以在探索性假设下实现最优策略学习？
• RQ3 能否设计一种实用方法，在高维复杂环境（如MuJoCo）中学习模型不变表征？
• RQ4 与标准MBRL方法相比，使用模型不变抽象是否能带来可测量的样本效率和模型精度提升？
• RQ5 模型不变性在训练期间未见过的状态变量组合上是否具有良好的泛化能力？

主要发现

• 理论分析表明，在探索性假设下，基于因果父节点的模型不变表征对策略学习是最优的。
• 在一个简单的玩具环境中，模型不变方法在未见状态分布上的泛化能力优于非因子化抽象。
• 在基于MuJoCo的Humanoid环境中，模型不变学习器在模型泛化方面显著优于标准最大似然基线。
• 与SAC结合后，模型不变方法在多个连续控制任务中均展现出显著的样本效率提升。
• 随着规划时域的延长，不变学习器与标准学习器之间的性能差距扩大，表明其在长时域泛化方面表现更优。
• 该方法具有组合泛化能力，能够对训练期间未观测到的状态变量值的新组合做出准确预测。