[论文解读] Learning Causal State Representations of Partially Observable Environments

Amy Zhang, Zachary C. Lipton+6 more|arXiv (Cornell University)|Jun 25, 2019

Reinforcement Learning in Robotics参考文献 68被引用 30

一句话总结

该论文提出了一种基于梯度的算法，利用RNN从动作-观测历史中预测未来观测，以在部分可观察环境中学习因果状态表征。该方法建立了因果状态、双生关系（bisimulation）与预测状态表征（PSR）之间的理论联系，证明所学习的表征能够实现高效的强化学习，并提供最优价值函数的可证明下界。

ABSTRACT

Intelligent agents can cope with sensory-rich environments by learning task-agnostic state abstractions. In this paper, we propose an algorithm to approximate causal states, which are the coarsest partition of the joint history of actions and observations in partially-observable Markov decision processes (POMDP). Our method learns approximate causal state representations from RNNs trained to predict subsequent observations given the history. We demonstrate that these learned state representations are useful for learning policies efficiently in reinforcement learning problems with rich observation spaces. We connect causal states with causal feature sets from the causal inference literature, and also provide theoretical guarantees on the optimality of the continuous version of this causal state representation under Lipschitz assumptions by proving equivalence to bisimulation, a relation between behaviorally equivalent systems. This allows for lower bounds on the optimal value function of the learned representation, which is tight given certain assumptions. Finally, we empirically evaluate causal state representations using multiple partially observable tasks and compare with prior methods.

研究动机与目标

• 解决在具有高维观测的部分可观察环境中学习有效且可泛化的状态表征的挑战。
• 通过将因果状态形式化为行为等价的最粗划分，弥合预测状态表征（PSR）、双生关系与因果推断之间的差距。
• 开发一种可微分的、基于梯度的算法，从在观测预测任务上训练的RNN中学习近似因果状态。
• 利用利普希茨连续性和双生关系度量，为所学表征的最优性提供理论保证。
• 在离散与连续潜在状态环境（包括GridWorld及修改后的VizDoom和Atari任务）中，验证该方法的实证鲁棒性。

提出的方法

• 使用观测序列的重构损失，训练RNN从动作与观测的历史中预测未来观测。
• 将因果状态定义为与未来最具有预测力的历史的最粗划分，利用RNN的隐藏状态作为连续表征。
• 引入一种基于瓶颈层与梯度下降的可微分离散化方法，以近似离散因果状态。
• 建立因果状态与最粗双生划分之间的理论等价性，从而通过双生关系度量为抽象MDP的最优价值函数提供下界。
• 制定一种结合奖励预测误差与原始MDP和抽象MDP之间分布一致性的损失函数，并在利普希茨假设下推导出其边界。
• 使用抽象MDP与原始MDP之间转移分布的Wasserstein距离，衡量表征的结构保真度。

实验结果

研究问题

• RQ1 能否通过在观测预测任务上训练的可微分RNN架构有效近似因果状态？
• RQ2 与PSR和DRQN等先前方法相比，所提出的因果状态表征在部分可观察任务中的样本效率和性能表现如何？
• RQ3 因果状态与双生关系之间存在何种理论关系？该联系能否为所学表征的质量提供可证明的保证？
• RQ4 连续因果状态表征是否在保持预测与行为保真度方面优于离散近似？
• RQ5 该方法能否泛化至具有连续潜在状态和高维观测的环境，如修改后的VizDoom和闪烁Atari游戏？

主要发现

• 在GridWorld导航任务中，连续因果状态表征在训练效率和最终性能上均优于离散近似和DRQN。
• 对连续因果状态表征进行离散化会导致性能显著下降，表明连续形式更能保留必要信息。
• 理论分析表明，因果状态等价于最粗双生划分，从而可为抽象MDP的最优价值函数提供下界。
• 该方法通过双生关系度量实现了最优价值函数的可证明边界，其依赖于价值函数的利普希茨连续性以及MDP之间的分布距离。
• 在修改后的VizDoom和闪烁Atari任务上的实证评估证实了该方法对连续潜在状态和部分可观察性的鲁棒性。
• 基于梯度的因果状态学习方法支持端到端训练，并可在具有丰富观测的多样化部分可观察环境中实现泛化。