[论文解读] Minimax Regret for Stochastic Shortest Path

Alon Cohen, Yonathan Efroni+2 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Bandit Algorithms Research参考文献 33被引用 5

一句话总结

该论文为随机最短路径（SSP）在强化学习中成本未知的情况下建立了最小最大后悔值，提出了一种新颖的向有限时域MDP的约化方法。其达到的后悔值界为 $\widetilde{O}(\sqrt{(B_{\star}^2 + B_{\star})|S||A|K})$，与已知的下界一致，并通过消除 $\sqrt{|S|}$ 的差距改进了先前的工作，新提出的算法 ULCVI 实现了对 $B_{\star}$ 的多项式依赖和对时域的对数依赖。

ABSTRACT

We study the Stochastic Shortest Path (SSP) problem in which an agent has to reach a goal state in minimum total expected cost. In the learning formulation of the problem, the agent has no prior knowledge about the costs and dynamics of the model. She repeatedly interacts with the model for $K$ episodes, and has to minimize her regret. In this work we show that the minimax regret for this setting is $\widetilde O(\sqrt{ (B_\star^2 + B_\star) |S| |A| K})$ where $B_\star$ is a bound on the expected cost of the optimal policy from any state, $S$ is the state space, and $A$ is the action space. This matches the $Ω(\sqrt{ B_\star^2 |S| |A| K})$ lower bound of Rosenberg et al. [2020] for $B_\star \ge 1$, and improves their regret bound by a factor of $\sqrt{|S|}$. For $B_\star < 1$ we prove a matching lower bound of $Ω(\sqrt{ B_\star |S| |A| K})$. Our algorithm is based on a novel reduction from SSP to finite-horizon MDPs. To that end, we provide an algorithm for the finite-horizon setting whose leading term in the regret depends polynomially on the expected cost of the optimal policy and only logarithmically on the horizon.

研究动机与目标

• 为随机最短路径（SSP）在成本独立同分布且初始未知的情况下，弥合上界与下界之间的差距。
• 解决标准乐观方法在成本较小或为零时失效、导致无限循环的挑战。
• 为SSP设计一种最小化后悔值的算法，实现对最优策略期望成本 $B_{\star}$、状态空间大小 $|S|$、动作空间大小 $|A|$ 和训练轮数 $K$ 的最优依赖关系。
• 通过建立 $B_{\star} \geq 1$ 和 $B_{\star} < 1$ 两种情况下的匹配下界，证明后悔值界的最小最大最优性。

提出的方法

• 提出一种从SSP到有限时域MDP的黑箱约化方法，其中每轮训练被划分为长度为 $H$ 的固定时域段。
• 提出一种新的有限时域MDP算法 ULCVI，其后悔值依赖于 $B_{\star}$ 的多项式形式和对时域 $H$ 的对数形式，优于先前方法。
• 每 $H$ 步使用重启机制，以避免长周期，确保在不预先知晓最优策略到达目标的期望时间的情况下实现目标可达性。
• 在有限时域设置中，利用弗雷德曼不等式（Freedman’s inequality）和詹森不等式（Jensen’s inequality）进行高概率浓度界控制，以管理后悔值。
• 构建一个具有独立同分布成本的困难MDP实例，推导出 $B_{\star} < 1$ 时的下界为 $\Omega(\sqrt{B_{\star}|S||A|K})$，$B_{\star} \geq 1$ 时的下界为 $\Omega(\sqrt{B_{\star}^2|S||A|K})$。
• 将有限时域算法与约化方法结合，实现SSP的最小最大最优后悔值界。

实验结果

研究问题

• RQ1 当成本为独立同分布且初始未知时，随机最短路径的最小最大后悔值是多少？
• RQ2 与先前工作相比，能否通过减少对状态空间大小 $|S|$ 的依赖来改进后悔值界？
• RQ3 后悔值界 $\widetilde{O}(\sqrt{(B_{\star}^2 + B_{\star})|S||A|K})$ 是否对所有 $B_{\star}$ 值都达到最小最大最优？
• RQ4 能否设计一种有限时域MDP算法，使其后悔值仅对时域 $H$ 呈对数依赖，对 $B_{\star}$ 呈多项式依赖？
• RQ5 所提出的向有限时域MDP的约化方法是否在最小化后悔值的同时保持了目标可达性？

主要发现

• 在成本未知且独立同分布的SSP中，最小最大后悔值为 $\widetilde{\Theta}(\sqrt{(B_{\star}^2 + B_{\star})|S||A|K})$，与已知下界在对数因子范围内一致。
• 当 $B_{\star} \geq 1$ 时，后悔值界 $\widetilde{O}(\sqrt{(B_{\star}^2 + B_{\star})|S||A|K})$ 与Rosenberg等人（2020）的 $\Omega(\sqrt{B_{\star}^2|S||A|K})$ 下界一致，消除了 $\sqrt{|S|}$ 的差距。
• 当 $B_{\star} < 1$ 时，本文证明了更紧的下界 $\Omega(\sqrt{B_{\star}|S||A|K})$，表明上界在此参数范围内同样为最小最大最优。
• 所提出的ULCVI算法在有限时域MDP中实现了对 $B_{\star}$ 的多项式依赖和对时域 $H$ 的对数依赖，优于先前具有 $\sqrt{H}$ 依赖关系的方法。
• 从SSP到有限时域MDP的约化方法确保了在每轮训练中都能实现目标可达性，且无需预先知晓最优策略的期望到达时间。
• 分析表明，后悔值的正确度量应为最优策略的期望成本 $B_{\star}$，而非时域长度 $H$，从而验证了 $B_{\star}$ 作为关键复杂度参数的合理性。