[论文解读] Adaptive Discretization for Model-Based Reinforcement Learning

Sean R. Sinclair, Tianyu Wang+3 more|arXiv (Cornell University)|Jul 1, 2020

Advanced Bandit Algorithms Research参考文献 57被引用 9

一句话总结

本文提出了一种基于模型强化学习的自适应离散化方法，根据数据驱动的需求动态细化状态-动作空间划分，在保持竞争性遗憾边界的同时降低内存和计算成本。该方法在收敛速度和存储方面优于固定离散化，且在性能上实证匹配或超越了模型无关方法。

ABSTRACT

We introduce the technique of adaptive discretization to design an efficient model-based episodic reinforcement learning algorithm in large (potentially continuous) state-action spaces. Our algorithm is based on optimistic one-step value iteration extended to maintain an adaptive discretization of the space. From a theoretical perspective we provide worst-case regret bounds for our algorithm which are competitive compared to the state-of-the-art model-based algorithms. Moreover, our bounds are obtained via a modular proof technique which can potentially extend to incorporate additional structure on the problem. From an implementation standpoint, our algorithm has much lower storage and computational requirements due to maintaining a more efficient partition of the state and action spaces. We illustrate this via experiments on several canonical control problems, which shows that our algorithm empirically performs significantly better than fixed discretization in terms of both faster convergence and lower memory usage. Interestingly, we observe empirically that while fixed-discretization model-based algorithms vastly outperform their model-free counterparts, the two achieve comparable performance with adaptive discretization.

研究动机与目标

• 通过基于数据的自适应划分解决在大或连续状态-动作空间中固定离散化的低效问题。
• 在Lipschitz连续性假设下，设计具有可证明最坏情况遗憾边界的模型基于强化学习算法。
• 通过仅维护相关且细粒度的划分，降低在线强化学习中的存储和计算成本。
• 实证评估自适应离散化是否使基于模型的强化学习在性能上可匹配或超越模型无关方法。
• 提供一种模块化的后悔分析框架，可扩展至结构化问题。

提出的方法

• 该算法使用乐观的一步值迭代，并结合自适应、数据依赖的状态与动作空间划分。
• 它维护奖励和转移概率的估计值，仅在不确定性或价值较高的区域进行划分细化。
• 划分由一个奖励项引导，鼓励在采样不足的区域进行探索，类似于UCB原则。
• 该方法确保仅在必要时增长划分数量，从而最小化存储和计算成本。
• 它利用动力学和奖励函数的Lipschitz连续性来限制估计误差并推导出遗憾保证。
• 算法通过高效的数拯结构实现，以支持Q值和计数的快速查找与更新。

实验结果

研究问题

• RQ1 自适应离散化是否能在不牺牲遗憾性能的前提下，降低基于模型强化学习中的内存和计算成本？
• RQ2 在连续MDP中，自适应离散化的遗憾与最先进模型基于算法相比如何？
• RQ3 自适应离散化是否使基于模型的强化学习在实践中达到与模型无关方法相当的性能？
• RQ4 后悔分析是否可模块化地扩展以纳入MDP的额外结构假设？
• RQ5 划分的动态细化如何影响收敛速度和最终策略质量？

主要发现

• 所提出的算法实现了与最先进模型基于算法相当的最坏情况遗憾边界，且随时域和问题维度的扩展表现良好。
• 与固定离散化相比，自适应离散化显著降低了内存使用，划分大小仅在高价值区域增长。
• 在石油勘探和救护车调度任务的实验中，自适应方法比固定离散化基线收敛更快且内存使用更少。
• 实证结果表明，自适应模型基于算法的性能与模型无关方法相当，尽管后者通常被固定离散化模型基于方法超越。
• 自适应划分策略在最优Q值较高的区域生成更细的网格，从而提升了学习效率。
• 模型无关的自适应Q学习算法维持的划分比模型基于变体更精细，表明其探索行为存在差异。