[论文解读] Delays in Reinforcement Learning

Pierre Liotet|arXiv (Cornell University)|Sep 20, 2023

Complex Systems and Decision MakingDecision Sciences被引用 3

一句话总结

本文提出了一种使用延迟马尔可夫决策过程（MDP）的形式化框架，用于建模和分析强化学习中的延迟问题。该框架引入了连续时间抽象，其中动作在延迟 Δ 后才被应用，并通过状态-动作历史增强的转换 MDP，建立了延迟 MDP 与标准 MDP 之间的等价性。主要贡献在于证明了延迟 MDP 中的最优策略与原始 MDP 中的最优策略相对应，从而使得标准强化学习算法可在具有理论保证的前提下应用于延迟环境。

ABSTRACT

Delays are inherent to most dynamical systems. Besides shifting the process in time, they can significantly affect their performance. For this reason, it is usually valuable to study the delay and account for it. Because they are dynamical systems, it is of no surprise that sequential decision-making problems such as Markov decision processes (MDP) can also be affected by delays. These processes are the foundational framework of reinforcement learning (RL), a paradigm whose goal is to create artificial agents capable of learning to maximise their utility by interacting with their environment. RL has achieved strong, sometimes astonishing, empirical results, but delays are seldom explicitly accounted for. The understanding of the impact of delay on the MDP is limited. In this dissertation, we propose to study the delay in the agent's observation of the state of the environment or in the execution of the agent's actions. We will repeatedly change our point of view on the problem to reveal some of its structure and peculiarities. A wide spectrum of delays will be considered, and potential solutions will be presented. This dissertation also aims to draw links between celebrated frameworks of the RL literature and the one of delays.

研究动机与目标

• 以数学上严格的方式形式化强化学习中延迟的影响，特别是动作延迟的影响。
• 解决标准强化学习算法在存在动作或观测延迟的环境中失效的挑战。
• 通过状态增强，建立延迟 MDP 与标准 MDP 之间的理论等价性。
• 通过将问题转化为等价的标准 MDP，使标准强化学习算法能够应用于延迟环境。
• 为原始 MDP 和转换后 MDP 中策略的性能等价性提供理论保证。

提出的方法

• 引入一种连续时间延迟 MDP 模型，其中动作在延迟 Δ 后应用，使用考虑延迟的转移核函数。
• 定义一个转换后的 MDP，记为 $\widetilde{\mathcal{M}}$，其状态空间通过包含过去动作而得到增强，以编码延迟。
• 使用状态-动作占据度量 $\mu^\pi_\gamma$ 表示每个状态-动作对的预期折扣时间，以支持性能分析。
• 构建一个转移核 $\widetilde{p}(x'|x,a)$，将当前增强状态 $x = (s, a_1, \dots, a_{\lceil\Delta\rceil})$ 映射到下一状态，通过一系列确定性转移引入延迟。
• 将延迟奖励函数 $\widetilde{r}(x,a)$ 定义为原始 MDP 中的期望奖励，条件于延迟后的状态和动作。
• 证明了在转换后 MDP $\widetilde{\mathcal{M}}$ 中的最优策略与原始 MDP $\mathcal{M}$ 中的最优策略相对应，从而确保理论上的等价性。

实验结果

研究问题

• RQ1 如何在马尔可夫决策过程的框架内正式建模动作执行的延迟？
• RQ2 在最优策略和价值函数方面，延迟 MDP 与标准 MDP 之间存在何种关系？
• RQ3 能否将延迟 MDP 转换为等价的标准 MDP，使得标准强化学习算法可以应用而不会损失最优性？
• RQ4 在何种条件下，延迟 MDP 中策略的性能与原始 MDP 中的性能相匹配？
• RQ5 延迟如何影响 MDP 中的状态-动作占据度量和期望回报？

主要发现

• 在转换后的 MDP $\widetilde{\mathcal{M}}$ 中的最优策略与原始 MDP $\mathcal{M}$ 中的最优策略等价，确保标准强化学习算法可应用于延迟环境而不会损失最优性。
• 原始 MDP 中的状态-动作占据度量 $\mu^\pi_\gamma$ 可从转换后的 MDP 中恢复，从而保持预期的折扣回报。
• 转换后的 MDP $\widetilde{\mathcal{M}}$ 与原始 MDP 保持相同的期望折扣回报 $J^\pi_\gamma$，如恒等式 $J^\pi_\gamma = \int_{\mathcal{S},\mathcal{A}} r(s,a) \, d\mu^\pi_\gamma(ds,da)$ 所示。
• 对于任意延迟 $\Delta \in \mathbb{R}_{\geq 0}$，延迟转移分布 $b_\Delta(\cdot|s,a)$ 与以 $s$ 为中心的狄拉克测度之间的 Wasserstein 距离有界于 $\Delta L_T$，确保在小延迟下的稳定性。
• 该框架允许通过将问题转换为具有增强状态的等价标准 MDP，从而在存在动作延迟的环境中使用标准强化学习算法。
• 无论 $\Delta$ 是否为整数，原始 MDP 与转换后 MDP 之间的理论等价性均成立，从而实现了对延迟的统一处理。