[论文解读] Bounded Optimal Exploration in MDP

Kenji Kawaguchi|arXiv (Cornell University)|Apr 5, 2016

Reinforcement Learning in Robotics参考文献 23被引用 7

一句话总结

本文提出了一种用于马尔可夫决策过程（MDPs）的放松型探索框架，通过引入有界最优探索，在理论严谨性与实际效率之间取得平衡，实现了更快地收敛到令人满意的策略。该框架为离散和连续MDPs设计了算法，提供即时误差界和平均损失界，与传统PAC-MDP方法相比，显著减少了探索时间，同时实现了近似最优性能。

ABSTRACT

Within the framework of probably approximately correct Markov decision processes (PAC-MDP), much theoretical work has focused on methods to attain near optimality after a relatively long period of learning and exploration. However, practical concerns require the attainment of satisfactory behavior within a short period of time. In this paper, we relax the PAC-MDP conditions to reconcile theoretically driven exploration methods and practical needs. We propose simple algorithms for discrete and continuous state spaces, and illustrate the benefits of our proposed relaxation via theoretical analyses and numerical examples. Our algorithms also maintain anytime error bounds and average loss bounds. Our approach accommodates both Bayesian and non-Bayesian methods.

研究动机与目标

• 弥合理论基础扎实的探索方法与实际需求之间关于更快策略收敛的矛盾。
• 放松通常导致过度探索和短期性能差的严格PAC-MDP条件。
• 为离散和连续状态空间设计保持即时误差界和平均损失界的算法。
• 在统一框架下支持贝叶斯与非贝叶斯方法。
• 为探索提供显式的运行时间界，使其随问题复杂度和期望精度呈有利比例增长。

提出的方法

• 引入h-可到达模型的概念，量化从给定样本数量中可学习到的未来转移数量，从而实现有界探索。
• 基于可达性提出PAC-MDP的松弛形式，聚焦于实际时间约束而非渐近收敛。
• 提出两种算法：一种用于离散MDPs，采用有界可到达模型的模型学习；另一种用于连续MDPs，采用基函数的函数逼近。
• 在连续领域中使用拟合值迭代和贪婪回溯进行规划，误差界通过浓度不等式推导。
• 利用概率浓度技术与模型更新动态，推导出即时误差界和平均损失界。
• 使用距离函数和参数化模型更新，以样本数量和置信水平表示估计误差的上界。

实验结果

研究问题

• RQ1 我们能否设计出探索策略，使其在性能上接近最优，且比传统PAC-MDP方法收敛更快？
• RQ2 如何在不牺牲误差和损失理论保证的前提下，放松PAC-MDP条件？
• RQ3 在高概率下实现期望策略性能水平所需的最小探索时间是多少？
• RQ4 在有界探索下，即时误差界和平均损失界的行为如何？
• RQ5 所提出的框架能否以统一方式支持贝叶斯与非贝叶斯方法？

主要发现

• 所提出的算法实现了有界最优探索，与标准PAC-MDP方法相比，显著减少了探索时间。
• 对于离散MDPs，所需探索时间被限制在 $ O\big(\frac{L^4 n_S^2 \bar{n}^2 \text{ln}^2 m}{\theta^4} \text{ln} \frac{n_S}{\theta} \big) $ 以内，其中 $ L $、$ n_S $、$ \bar{n} $ 和 $ m $ 为问题特定常数。
• 在连续MDPs中，即时误差界随时间呈 $ O\big( \big(\frac{L^4 n_S^2 \bar{n}^2 \text{ln}^2 m}{t(1-\rho)}\big)^{1/5} \text{ln}^{3/5} \frac{n_S}{\theta} \big) $ 的趋势减小，表明误差随时间递减。
• 通过将即时误差随时间步长累加，推导出平均损失界，确保长期性能稳定性。
• 算法2的显式探索运行时间为 $ O\big( \frac{h^2 L^2 n_S \bar{n} \text{ln} m}{\theta^3 (1-\rho)} \text{ln}^2 \frac{n_S}{\theta} \text{ln} \frac{m^2 n_S h}{\theta} \big) $，表明其随问题规模和置信度呈有利比例增长。
• 在Mountain Car和HIV治疗领域的数值实验验证了相比标准PAC-MDP方法，收敛速度更快且实际性能更优。