[论文解读] A Provably Efficient Algorithm for Linear Markov Decision Process with Low Switching Cost

Minbo Gao, Tianle Xie+2 more|arXiv (Cornell University)|Jan 2, 2021

Reinforcement Learning in Robotics参考文献 33被引用 7

一句话总结

该论文提出了首个针对线性马尔可夫决策过程（MDPs）的可证明高效算法，具有低全局切换成本，实现了 $\widetilde{O}(\sqrt{d^3H^4K})$ 的遗憾边界和 $O(dH\log K)$ 的全局切换成本，与现有最佳遗憾性能相当，同时相比以往工作显著降低了切换成本。该方法结合函数逼近与自适应策略更新，在保持样本效率的同时最小化策略变更。

ABSTRACT

Many real-world applications, such as those in medical domains, recommendation systems, etc, can be formulated as large state space reinforcement learning problems with only a small budget of the number of policy changes, i.e., low switching cost. This paper focuses on the linear Markov Decision Process (MDP) recently studied in [Yang et al 2019, Jin et al 2020] where the linear function approximation is used for generalization on the large state space. We present the first algorithm for linear MDP with a low switching cost. Our algorithm achieves an $\widetilde{O}\left(\sqrt{d^3H^4K} ight)$ regret bound with a near-optimal $O\left(d H\log K ight)$ global switching cost where $d$ is the feature dimension, $H$ is the planning horizon and $K$ is the number of episodes the agent plays. Our regret bound matches the best existing polynomial algorithm by [Jin et al 2020] and our switching cost is exponentially smaller than theirs. When specialized to tabular MDP, our switching cost bound improves those in [Bai et al 2019, Zhang et al 20020]. We complement our positive result with an $Ω\left(dH/\log d ight)$ global switching cost lower bound for any no-regret algorithm.

研究动机与目标

• 为大规模状态空间问题设计一种强化学习算法，以最小化策略切换，受医学和系统工程中现实约束的启发。
• 解决现有算法在状态空间增大时扩展性差，或仅关注局部切换成本而非全局切换成本的问题。
• 为线性MDP提供一个可证明高效的算法，平衡低遗憾与低全局切换成本。
• 为线性MDP中无遗憾算法的全局切换成本建立理论下界。

提出的方法

• 该算法使用线性函数逼近在高维状态空间中泛化，使大规模状态环境中的高效学习成为可能。
• 采用基于置信区间自适应探索策略，在最小化策略变更的同时平衡探索与利用。
• 仅当估计的价值提升超过阈值时才更新策略，从而减少全局策略切换次数。
• 开发了一套新颖的分析框架，同时对遗憾和切换成本进行上界控制，利用线性MDP的结构特性。
• 该算法动态维护一组候选策略，并根据置信度优化的价值估计选择最优策略。
• 该方法确保策略切换次数随环境交互轮次 $K$ 的对数规模增长，即 $O(dH\log K)$。

实验结果

研究问题

• RQ1 我们能否设计一种针对线性MDP的可证明高效强化学习算法，实现低全局切换成本的同时保持近似最优的遗憾？
• RQ2 任何无遗憾算法在线性MDP中的全局切换成本是否存在根本性下界？
• RQ3 我们算法的全局切换成本与现有使用局部切换成本或在状态空间增大时扩展性差的算法相比如何？
• RQ4 全局切换成本能否进一步降低至 $O(\log \log K)$，与bandit设置中的结果一致？
• RQ5 是否可能以计算高效的方式实现近似最优遗憾与低切换成本的结合？

主要发现

• 所提算法实现了 $\widetilde{O}(\sqrt{d^3H^4K})$ 的遗憾边界，与Jin等人（2019）提出的最佳现有多项式时间算法性能相当。
• 全局切换成本为 $O(dH\log K)$，相比以往算法呈指数级降低，显著优于表格型MDP的结果。
• 该算法的切换成本上界意味着在表格型MDP中可实现 $O(SAH\log K)$ 的全局切换成本，优于以往工作。
• 为线性MDP中的全局切换成本建立了 $\Omega(dH/\log d)$ 的下界，表明该算法的切换成本在对数因子范围内近乎最优。
• 该下界是强化学习中首个非平凡的全局切换成本下界，且严格强于以往的局部切换成本下界。
• 上下界之间的差距目前为 $\log K \log d$，提示切换成本上界仍有进一步优化的空间。