[论文解读] Efficient Bias-Span-Constrained Exploration-Exploitation in Reinforcement Learning

Ronan Fruit, Matteo Pirotta+2 more|arXiv (Cornell University)|Feb 12, 2018

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出 SCAL，一种计算高效的强化学习算法，通过利用最优值函数的偏置跨度（bias span）来在弱连通 MDP 中实现更优的遗憾边界。通过利用已知的最优偏置跨度上界 $ c $ 对探索进行约束，SCAL 实现了 $ \widetilde{O}(c\sqrt{\Gamma SAT}) $ 的遗憾边界，显著优于依赖直径的算法（如 UCRL），尤其在直径较大但偏置跨度较小的 MDP 中表现更优。

ABSTRACT

We introduce SCAL, an algorithm designed to perform efficient exploration-exploitation in any unknown weakly-communicating Markov decision process (MDP) for which an upper bound $c$ on the span of the optimal bias function is known. For an MDP with $S$ states, $A$ actions and $Γ\leq S$ possible next states, we prove a regret bound of $\widetilde{O}(c\sqrt{ΓSAT})$, which significantly improves over existing algorithms (e.g., UCRL and PSRL), whose regret scales linearly with the MDP diameter $D$. In fact, the optimal bias span is finite and often much smaller than $D$ (e.g., $D=\infty$ in non-communicating MDPs). A similar result was originally derived by Bartlett and Tewari (2009) for REGAL.C, for which no tractable algorithm is available. In this paper, we relax the optimization problem at the core of REGAL.C, we carefully analyze its properties, and we provide the first computationally efficient algorithm to solve it. Finally, we report numerical simulations supporting our theoretical findings and showing how SCAL significantly outperforms UCRL in MDPs with large diameter and small span.

研究动机与目标

• 解决现有强化学习算法依赖 MDP 直径 $ D $ 的局限性，该参数即使在实际遗憾由最优值函数的偏置跨度决定时也可能任意大。
• 通过将 Regal.C 中计算上不可行的约束优化问题松弛为可计算的形式，克服其理论最优但不实用的问题。
• 提出一种新颖且高效的算法（ScOpt），用于求解偏置跨度约束的优化问题，从而实现偏置跨度感知探索的实际应用。
• 将 ScOpt 集成到类似 UCRL 的框架中，构建 SCAL，一种完全可计算的算法，其遗憾边界依赖于偏置跨度 $ c $，而非直径 $ D $。
• 通过实验证明，SCAL 在直径较高但偏置跨度较低的 MDP（如 Knight Quest 环境）中优于 UCRL。

提出的方法

• 提出一个约束优化问题，通过使用最优偏置函数 $ h^* $ 的跨度上界 $ c $ 对值函数进行正则化，替代 Regal.C 中计算不可行的正则化方式。
• 设计 ScOpt 算法，一种计算高效的求解方法，可在弱条件下保证收敛性。
• 为 ScOpt 设计停止准则，以获得 $ \varepsilon $-最优策略，确保其在实际中的适用性。
• 将 ScOpt 集成到类似 UCRL 的探索-利用框架中，通过在值函数中引入乐观性并施加偏置跨度约束，引导探索过程。
• 使用伯恩斯坦型置信区间构建奖励和转移模型的乐观 MDP，通过在 $ r_{\max} $ 处截断以确保稳定性。
• 应用改进的乐观论证，确保即使在非连通或弱连通 MDP 中，收敛条件始终满足。

实验结果

研究问题

• RQ1 我们能否设计一种计算高效的算法，使遗憾边界依赖于偏置跨度 $ c $ 而非 MDP 直径 $ D $，从而在弱连通 MDP 中实现更优性能？
• RQ2 是否可能松弛 Regal.C 中的优化问题，使其可计算，同时保持理论上的遗憾边界？
• RQ3 在直径大但跨度小的 MDP 中，偏置跨度约束如何提升探索效率？
• RQ4 在直径大但最优策略简单的环境中，所提算法是否能优于基于 OFU 的标准方法（如 UCRL）？
• RQ5 在探索中使用偏置跨度作为环境复杂度的代理，其实际意义是什么？

主要发现

• SCAL 实现了 $ \widetilde{O}(c\sqrt{\Gamma SAT}) $ 的遗憾边界，该边界与 MDP 直径 $ D $ 无关，显著优于依赖 $ D $ 的算法（如 UCRL 和 PSRL）。
• 在 Knight Quest 环境中，SCAL 显著优于 UCRL，其累积遗憾呈次线性增长，并展现出清晰的线性和对数阶段。
• Knight Quest 中最优策略的偏置跨度约为 $ 3.28 $，而直径约为 $ 250 $，表明 $ D $ 与 $ c $ 之间存在显著差距，SCAL 有效利用了这一特性。
• SCAL 的遗憾曲线显示最小的平方根阶段，表明一旦算法识别出远距离高跨度状态与最优策略无关，即可快速收敛。
• 数值模拟证实，SCAL 利用小偏置跨度有效避免了对无关高跨度状态的探索，而 UCRL 则因高直径而被误导。
• 通过 ScOpt 实现 $ \varepsilon $-最优策略计算，确保了算法在复杂弱连通环境中的高效性与稳定性。