[论文解读] Adversarial Stochastic Shortest Path.

Aviv Rosenberg, Yishay Mansour|arXiv (Cornell University)|Jun 20, 2020

Advanced Bandit Algorithms Research参考文献 5被引用 9

一句话总结

本文引入了对抗性随机最短路径（SSP）问题，其中成本在各轮次间任意变化，而动态特性保持固定且未知。该文提出了一种算法，在严格正成本下实现 $\tilde{O}(\pi K)$ 的遗憾，一般情况下实现 $\tilde{O}(K^{3/4})$ 的遗憾，这是首次为具有未知动态特性的对抗性SSP问题获得次线性遗憾界。

ABSTRACT

Stochastic shortest path (SSP) is a well-known problem in planning and control, in which an agent has to reach a goal state in minimum total expected cost. In this paper we consider adversarial SSPs that also account for adversarial changes in the costs over time, while the dynamics (i.e., transition function) remains unchanged. Formally, an agent interacts with an SSP environment for $K$ episodes, the cost function changes arbitrarily between episodes, and the fixed dynamics are unknown to the agent. We give high probability regret bounds of $\widetilde O (\sqrt{K})$ assuming all costs are strictly positive, and $\widetilde O (K^{3/4})$ for the general case. To the best of our knowledge, we are the first to consider this natural setting of adversarial SSP and obtain sub-linear regret for it.

研究动机与目标

• 正式化并研究成本在各轮次间任意变化的对抗性随机最短路径问题。
• 解决在对抗性成本变化下SSP中动态特性未知的挑战。
• 推导在该对抗性SSP设置下学习的高概率遗憾界。
• 在缺乏对转移动态特性先验知识的情况下，建立次线性遗憾保证。

提出的方法

• 智能体在 $K$ 轮次中与SSP环境交互，各轮次间面临任意的成本函数变化。
• 该算法基于所有成本严格为正的假设运行，从而实现更紧致的遗憾界。
• 它利用一种适用于对抗性成本序列的值迭代或动态规划变体。
• 该方法结合了探索策略，在最小化累积遗憾的同时学习未知的动态特性。
• 通过集中不等式和估计误差的高概率界进行遗憾分析。
• 理论分析推导出正成本情况下的 $\tilde{O}(\pi K)$ 遗憾，以及一般情况下的 $\tilde{O}(K^{3/4})$ 遗憾。

实验结果

研究问题

• RQ1 在具有对抗性成本变化和未知动态特性的随机最短路径问题中，能否实现次线性遗憾？
• RQ2 在严格正成本条件下，对抗性SSP中可实现的最优遗憾界是什么？
• RQ3 当成本不被限制为正时，遗憾如何随规模变化？
• RQ4 哪些算法技术能够在缺乏动态特性先验知识的情况下实现对抗性成本变化下的学习？
• RQ5 在缺乏完整模型信息的情况下，能否为对抗性SSP建立高概率遗憾界？

主要发现

• 当所有成本严格为正时，本文实现了高概率遗憾界 $\widetilde{O}(\sqrt{K})$。
• 在无正性约束的一般情况下，遗憾界为 $\widetilde{O}(K^{3/4})$。
• 这是首次为对抗性随机最短路径问题获得次线性遗憾界。
• 该结果基于转移动态特性固定但对智能体未知的假设。
• 分析建立了在环境和学习过程随机性下以高概率成立的理论保证。
• 该工作为具有对抗性成本变化的SSP中的在线学习提供了基础框架。