[论文解读] Acting in Delayed Environments with Non-Stationary Markov Policies

Esther Derman, Gal Dalal+1 more|arXiv (Cornell University)|Jan 28, 2021

Reinforcement Learning in Robotics参考文献 31被引用 4

一句话总结

本文提出了一种用于延迟动作执行环境的非时齐马尔可夫策略框架，在强化学习中证明了在原始状态空间中使用确定性非时齐策略是最优且充分的。提出了一种基于模型的Q-learning算法——Delayed-Q，避免了状态扩展，即使在高延迟（m=25）的表格型、物理和Atari环境中，也实现了快速收敛和优于状态扩展与无意识方法的性能表现。

ABSTRACT

The standard Markov Decision Process (MDP) formulation hinges on the assumption that an action is executed immediately after it was chosen. However, assuming it is often unrealistic and can lead to catastrophic failures in applications such as robotic manipulation, cloud computing, and finance. We introduce a framework for learning and planning in MDPs where the decision-maker commits actions that are executed with a delay of $m$ steps. The brute-force state augmentation baseline where the state is concatenated to the last $m$ committed actions suffers from an exponential complexity in $m$, as we show for policy iteration. We then prove that with execution delay, deterministic Markov policies in the original state-space are sufficient for attaining maximal reward, but need to be non-stationary. As for stationary Markov policies, we show they are sub-optimal in general. Consequently, we devise a non-stationary Q-learning style model-based algorithm that solves delayed execution tasks without resorting to state-augmentation. Experiments on tabular, physical, and Atari domains reveal that it converges quickly to high performance even for substantial delays, while standard approaches that either ignore the delay or rely on state-augmentation struggle or fail due to divergence. The code is available at github.com/galdl/rl_delay_basic and github.com/galdl/rl_delay_atari.

研究动机与目标

• 为解决机器人、金融和云计算等领域中常见的延迟动作执行强化学习缺乏理论与实践框架的问题。
• 挑战认为状态扩展对处理执行延迟是必要的假设，该假设在延迟长度m上存在指数级复杂度。
• 证明在延迟执行下，原始状态空间中的确定性非时齐马尔可夫策略是充分且最优的。
• 开发一种实用的基于模型的算法，避免状态扩展，并可扩展至连续和高维环境（如Atari）。

提出的方法

• 提出一种延迟MDP形式化，其中动作在选择后m步才被执行，以建模由此产生的非马尔可夫过程。
• 证明在原始状态空间中使用确定性非时齐策略足以实现最优性能，而静态策略则表现次优。
• 提出Delayed-Q，一种基于模型的Q-learning算法，直接在原始状态空间中学习非时齐Q值，无需状态扩展。
• 采用基于规划的方法，从延迟观测中估计最可能的当前状态，从而实现高效的值更新。
• 采用类似值迭代的更新方式，通过在m步时间范围内传播奖励与转移，以处理延迟执行的影响。
• 将该算法应用于表格型MDP、连续控制环境（如CartPole）以及Atari套件，展示了其可扩展性与鲁棒性。

实验结果

研究问题

• RQ1 在具有延迟动作执行的MDP中，原始状态空间中的确定性非时齐马尔可夫策略能否实现最优性能？
• RQ2 处理执行延迟是否必须依赖状态扩展，还是可以在原始状态空间中直接学习最优策略？
• RQ3 能否设计一种基于模型的Q-learning算法，避免状态扩展的指数级复杂度，同时在高延迟下保持性能？
• RQ4 在多样化环境中，所提出方法与状态扩展、无意识及RNN策略在收敛速度与最终性能上的表现如何比较？

主要发现

• 在42项实验中的39项里，Delayed-Q在表格型、物理和Atari环境中均优于状态扩展与无意识Q-learning方法。
• 在Atari环境'Enduro'中，当m=25时，Delayed-Q得分为33±2，而Augmented-Q与Oblivious-Q分别仅得29±4与0.5±0.2。
• 在'msPacman'中，当m=5时，Delayed-Q得分为1354±86，显著优于Augmented-Q（1083±60）与Oblivious-Q（1319±35）。
• 在'Zaxxon'中，当m=25时，Delayed-Q得分为1418±148，远超Oblivious-Q（605±66）与Augmented-Q（431±77）。
• 基于RNN的策略因未感知延迟，其性能未能超越无意识基线，证实延迟感知对性能至关重要。
• Delayed-Q即使在m=25时也能实现快速且稳定的收敛，而状态扩展方法因状态空间指数级增长导致发散或失败。