[论文解读] Model-Free Non-Stationary RL: Near-Optimal Regret and Applications in Multi-Agent RL and Inventory Control

Weichao Mao, Kaiqing Zhang+3 more|arXiv (Cornell University)|Oct 7, 2020

Advanced Bandit Algorithms Research参考文献 64被引用 9

一句话总结

该论文提出RestartQ-UCB，一种用于非平稳周期性MDP的无模型强化学习算法，通过重启策略和自适应乐观奖励机制，实现近似最优的动态遗憾。其遗憾界为$\widetilde{O}(S^{1/3}A^{1/3}\Delta^{1/3}HT^{2/3})$，几乎达到信息论下限，且在多智能体强化学习与多产品库存控制任务中展现出卓越的计算效率和性能。

ABSTRACT

We consider model-free reinforcement learning (RL) in non-stationary Markov decision processes. Both the reward functions and the state transition functions are allowed to vary arbitrarily over time as long as their cumulative variations do not exceed certain variation budgets. We propose Restarted Q-Learning with Upper Confidence Bounds (RestartQ-UCB), the first model-free algorithm for non-stationary RL, and show that it outperforms existing solutions in terms of dynamic regret. Specifically, RestartQ-UCB with Freedman-type bonus terms achieves a dynamic regret bound of $\widetilde{O}(S^{\frac{1}{3}} A^{\frac{1}{3}} Δ^{\frac{1}{3}} H T^{\frac{2}{3}})$, where $S$ and $A$ are the numbers of states and actions, respectively, $Δ>0$ is the variation budget, $H$ is the number of time steps per episode, and $T$ is the total number of time steps. We further present a parameter-free algorithm named Double-Restart Q-UCB that does not require prior knowledge of the variation budget. We show that our algorithms are \emph{nearly optimal} by establishing an information-theoretical lower bound of $Ω(S^{\frac{1}{3}} A^{\frac{1}{3}} Δ^{\frac{1}{3}} H^{\frac{2}{3}} T^{\frac{2}{3}})$, the first lower bound in non-stationary RL. Numerical experiments validate the advantages of RestartQ-UCB in terms of both cumulative rewards and computational efficiency. We demonstrate the power of our results in examples of multi-agent RL and inventory control across related products.

研究动机与目标

• 解决基于模型的方法在非平稳强化学习中的局限性，包括计算成本高、探索效率低以及与去中心化多智能体设置不兼容的问题。
• 开发一种无模型算法，在无需显式模型估计的前提下，实现非平稳周期性MDP中的近似最优动态遗憾。
• 建立非平稳强化学习的首个信息论下限，以验证所提算法的最优性。
• 在去中心化多智能体强化学习和具有动态需求的多产品库存控制等复杂领域中，展示该方法的实际适用性。
• 设计一种无超参数的变体Double-Restart Q-UCB，消除对提前知晓变化预算的需求。

提出的方法

• 引入一种重启策略，在预设时间间隔重置智能体的记忆，仅关注近期经验，从而减轻环境漂移的影响。
• 引入一种Freedman型奖励项，并增加依赖于局部变化预算的乐观成分，以确保在非平稳环境下仍能获得乐观的Q值估计。
• 基于对环境变化的估计，采用动态重启调度，以平衡探索与利用。
• 将算法应用于具有状态空间和动作空间的周期性MDP，其中环境的转移和奖励函数可随时间突变。
• 通过将库存水平和联合订货决策建模为状态和动作，将框架扩展至线性MDP和多产品库存控制问题。
• 设计Double-Restart Q-UCB作为无超参数的变体，可自动调整重启间隔，无需事先知晓变化预算。

实验结果

研究问题

• RQ1 无模型强化学习算法是否能在不依赖模型估计的前提下，实现在非平稳周期性MDP中的近似最优动态遗憾？
• RQ2 RestartQ-UCB在遗憾和计算效率方面与现有基于模型和无模型方法相比表现如何？
• RQ3 非平稳MDP中动态遗憾的信息论极限是什么？无模型算法是否能近乎达到该界限？
• RQ4 所提方法能否有效应用于联合动作观测不可用的去中心化多智能体强化学习场景？
• RQ5 如何利用非平稳强化学习解决具有时变需求和容量约束的多产品库存控制问题？

主要发现

• RestartQ-UCB实现了$\widetilde{O}(S^{1/3}A^{1/3}\Delta^{1/3}HT^{2/3})$的动态遗憾界，几乎与信息论下限$\Omega(S^{1/3}A^{1/3}\Delta^{1/3}H^{2/3}T^{2/3})$一致。
• 该算法在累积奖励方面优于最先进的基于模型方法，同时计算时间仅需其0.18%。
• 所提出的Double-Restart Q-UCB算法无需预先知晓变化预算，即可实现相同的遗憾界，且无需事先了解$\Delta$。
• 该方法成功应用于具有缓慢变化对手的多智能体强化学习场景，展示了在去中心化设置下的鲁棒性。
• 在具有仓库容量约束的多产品库存控制中，该算法保持了相同的遗憾界，状态和动作空间定义为可行的库存与订货组合。
• 本文首次建立了非平稳强化学习的下限，证实RestartQ-UCB的遗憾界在$H^{1/3}$因子内为最优。