[论文解读] Learning Markov State Abstractions for Deep Reinforcement Learning

Cameron Allen, Neev Parikh+2 more|arXiv (Cornell University)|Jun 8, 2021

Reinforcement Learning in Robotics参考文献 53被引用 6

一句话总结

本文提出一种结合逆动力学建模与时间对比学习的方法，以在深度强化学习中学习马尔可夫状态抽象，实现无需依赖奖励信号的样本高效强化学习。该方法学习到紧凑且信息保留的表示，其性能可与使用人工设计状态特征的方法相媲美或超越。

ABSTRACT

A fundamental assumption of reinforcement learning in Markov decision processes (MDPs) is that the relevant decision process is, in fact, Markov. However, when MDPs have rich observations, agents typically learn by way of an abstract state representation, and such representations are not guaranteed to preserve the Markov property. We introduce a novel set of conditions and prove that they are sufficient for learning a Markov abstract state representation. We then describe a practical training procedure that combines inverse model estimation and temporal contrastive learning to learn an abstraction that approximately satisfies these conditions. Our novel training objective is compatible with both online and offline training: it does not require a reward signal, but agents can capitalize on reward information when available. We empirically evaluate our approach on a visual gridworld domain and a set of continuous control benchmarks. Our approach learns representations that capture the underlying structure of the domain and lead to improved sample efficiency over state-of-the-art deep reinforcement learning with visual features -- often matching or exceeding the performance achieved with hand-designed compact state information.

研究动机与目标

• 解决从丰富观测中学习马尔可夫状态表示的挑战，适用于深度强化学习。
• 在不依赖奖励反馈的情况下，弥合视觉观测与专家状态特征之间的表示差距。
• 设计一种保持马尔可夫性质的同时促进高效策略学习的训练目标。
• 通过学习结构化、低维的抽象表示，提升视觉强化学习环境中的样本效率。

提出的方法

• 定义在块MDP中，足以保持马尔可夫性质的状态抽象的理论条件。
• 训练一个共享编码器，通过结合逆动力学与对比学习的联合目标，将高维观测映射到抽象状态。
• 使用逆模型从连续的抽象状态中预测动作，确保动态一致性。
• 应用对比判别器以区分真实与虚假的状态转移，促进时间一致性。
• 将该目标作为辅助训练信号，兼容在线与离线强化学习。
• 可选地应用平滑性损失，以提升泛化能力与学习效率。

实验结果

研究问题

• RQ1 在丰富观测MDP中，学习到的状态抽象要保持马尔可夫性质，其充分条件是什么？
• RQ2 能否设计一种表示学习目标，使其在无需奖励信号的情况下确保马尔可夫性？
• RQ3 结合逆动力学与对比学习如何提升视觉强化学习中的样本效率？
• RQ4 此类抽象在多大程度上可与人工设计的状态特征性能相匹配或超越？
• RQ5 表示的平滑性在实际中对下游策略学习有何影响？

主要发现

• 所提方法学习到的马尔可夫状态抽象在视觉网格世界中完全弥合了表示差距，性能与使用专家状态特征时相当。
• 在连续控制基准测试中，该方法在样本效率上优于当前最先进的视觉表示学习方法，通常可匹配或超越使用真实状态输入的性能。
• 即使省略预训练或移除平滑性正则化，该方法仍能实现显著的性能提升，尽管这两个组件有助于提升稳定性和训练速度。
• 消融实验表明，移除预训练在某些任务上略微提升了性能，提示表示预训练并非在所有情况下都必要。
• 该方法优于标准视觉基线，在DeepMind Control Suite上达到专家水平性能，尤其在与RBF-DQN结合时表现更优。
• 实验结果证实，尽管平滑性并非马尔可夫性的必要条件，但其显著提升了学习效率与最终性能。