[论文解读] Implicit Finite-Horizon Approximation and Efficient Optimal Algorithms for Stochastic Shortest Path

Liyu Chen, Mehdi Jafarnia-Jahromi+2 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Bandit Algorithms Research参考文献 30被引用 5

一句话总结

本文提出了一种新颖的隐式有限-horizon近似技术，用于设计随机最短路径（SSP）问题的极小极大最优遗憾算法。提出了两种新算法：LCB-Advantage-SSP，这是首个在严格正成本下实现极小极大最优遗憾的无模型SSP算法；以及SVI-SSP，一种基于模型的算法，即使在存在零成本动作时也能实现极小极大最优性，两者均支持高度稀疏的更新和无参数变体。

ABSTRACT

We introduce a generic template for developing regret minimization algorithms in the Stochastic Shortest Path (SSP) model, which achieves minimax optimal regret as long as certain properties are ensured. The key of our analysis is a new technique called implicit finite-horizon approximation, which approximates the SSP model by a finite-horizon counterpart only in the analysis without explicit implementation. Using this template, we develop two new algorithms: the first one is model-free (the first in the literature to our knowledge) and minimax optimal under strictly positive costs; the second one is model-based and minimax optimal even with zero-cost state-action pairs, matching the best existing result from [Tarbouriech et al., 2021b]. Importantly, both algorithms admit highly sparse updates, making them computationally more efficient than all existing algorithms. Moreover, both can be made completely parameter-free.

研究动机与目标

• 解决在极小极大最优遗憾下，随机最短路径（SSP）设置中缺乏高效无模型遗憾最小化算法的问题。
• 克服现有基于模型的算法因依赖完整规划而导致计算效率低下且空间复杂度高的问题。
• 设计一个通用的算法模板，在较弱的分析条件下实现极小极大最优遗憾。
• 设计支持稀疏更新且可完全无参数化而不牺牲遗憾界性能的算法。
• 在存在零成本状态-动作对的SSP环境中实现最优性能，这是先前工作尚未完全解决的挑战。

提出的方法

• 提出一种名为隐式有限-horizon近似的新型分析框架，该框架仅在理论分析中将SSP近似为有限-horizon MDP，而非在算法实现中使用。
• 设计LCB-Advantage-SSP作为无模型算法，利用参考优势分解，并通过基于加倍的值函数经验上界实现无参数化操作。
• 开发SVI-SSP作为基于模型的算法，采用一步规划而非完整规划，降低时间复杂度，并实现每个状态-动作对的对数级更新。
• 在SVI-SSP中引入类似Bernstein的奖励项，以递归方式控制方差，确保当 $c_{\min} = 0$ 时仍能实现极小极大最优性。
• 通过在分析中满足关键结构特性，确保两种算法均实现极小极大最优遗憾，利用隐式有限-horizon近似框架。
• 采用频繁更新参考值的参考-优势分解，以减少样本复杂度并改善低阶遗憾项。

实验结果

研究问题

• RQ1 能否设计一种无模型SSP算法，在严格正成本下实现极小极大最优遗憾？
• RQ2 能否开发一种基于模型的SSP算法，即使某些状态-动作对的代价为零，也能保持极小极大最优性？
• RQ3 能否通过稀疏更新和减少规划开销，使无模型与基于模型的SSP算法在计算上更高效？
• RQ4 能否使所提算法完全无参数化而不降低遗憾性能？
• RQ5 隐式有限-horizon近似技术能否实现与时间无关的遗憾界，同时避免显式基于时域的方法导致的空间复杂度爆炸？

主要发现

• LCB-Advantage-SSP 的遗憾界为 $\tilde{\mathcal{O}}(B_{\star}\sqrt{SAK} + B_{\star}^{5}S^{2}A/c_{\min}^{4})$，当 $c_{\min} > 0$ 时为极小极大最优。
• SVI-SSP 的遗憾界为 $\tilde{\mathcal{O}}(B_{\star}\sqrt{SAK} + B_{\star}S^{2}A)$，即使当 $c_{\min} = 0$ 时，也与 Tarbouriech 等人（2021b）的最佳现有结果一致。
• LCB-Advantage-SSP 和 SVI-SSP 均实现空间复杂度 $\tilde{\mathcal{O}}(SA)$，显著低于现有基于模型算法的 $\Omega(S^2A)$ 空间复杂度。
• SVI-SSP 每个状态-动作对仅执行对数级更新，并采用一步规划，使其在实验中成为所有对比算法中计算效率最高的。
• 实验结果表明，SVI-SSP 在遗憾和更新效率方面优于 EB-SSP 和 UC-SSP，在 RandomMDP 和 GridWorld 环境中均表现出最低的总更新时间。
• Q-learning 配合 $\epsilon$-greedy 探索表现出线性遗憾，证实了朴素探索在SSP设置中的低效性；而 LCB-Advantage-SSP 和 SVI-SSP 展现出优异性能，支持稀疏且高效的更新。