[论文解读] Fast rates for online learning in Linearly Solvable Markov Decision Processes

Gergely Neu, Vicenç Gómez|arXiv (Cornell University)|Feb 21, 2017

Advanced Bandit Algorithms Research参考文献 36被引用 4

一句话总结

本文提出了一种用于线性可解马尔可夫决策过程（LMDPs）的新型在线学习算法，证明了简单的“追随领先者”策略可实现 $ O("log^2 T) $ 的遗憾界，显著优于先前的 $ O(T^{3/4}) $ 边界。关键洞见在于，最优控制策略对代价函数的平滑性使得无需正则化即可实现快速收敛。

ABSTRACT

We study the problem of online learning in a class of Markov decision processes known as linearly solvable MDPs. In the stationary version of this problem, a learner interacts with its environment by directly controlling the state transitions, attempting to balance a fixed state-dependent cost and a certain smooth cost penalizing extreme control inputs. In the current paper, we consider an online setting where the state costs may change arbitrarily between consecutive rounds, and the learner only observes the costs at the end of each respective round. We are interested in constructing algorithms for the learner that guarantee small regret against the best stationary control policy chosen in full knowledge of the cost sequence. Our main result is showing that the smoothness of the control cost enables the simple algorithm of following the leader to achieve a regret of order $\log^2 T$ after $T$ rounds, vastly improving on the best known regret bound of order $T^{3/4}$ for this setting.

研究动机与目标

• 为解决在代价函数任意变化的 MDP 在线学习问题，其中学习者仅在每轮之后观察到代价。
• 设计一种算法，使其在完全知晓代价序列的前提下，能实现与最优静态策略相比的低遗憾。
• 利用线性可解 MDP 的结构特性，实现比以往已知结果更快的学习速率。
• 证明最优策略对代价变化的平滑性可使在线学习中实现对数遗憾，而无需正则化。

提出的方法

• 该算法采用“追随领先者”策略，选择到当前轮次为止累积代价最小的策略。
• 分析依赖于最优策略关于代价函数变化的利普希茨连续性，利用 LMDP 的线性结构。
• 通过将遗憾分解为三部分来推导遗憾界：策略偏差、代价估计误差和混合时间效应。
• 关键技术步骤涉及利用指数衰减和几何级数，对策略之间的 $ \ell_1 $-距离进行有界，利用混合时间 $ \tau $。
• 证明中通过将时间步的求和分解并以阈值 $ B = \lfloor t - \tau \log t \rfloor $ 处分段，以控制尾部行为。
• 最终通过时间求和并利用调和级数的对数界与几何衰减，推导出遗憾界。

实验结果

研究问题

• RQ1 在任意代价序列下，LMDPs 在线学习的遗憾是否可超越 $ O(T^{3/4}) $ 边界？
• RQ2 LMDPs 中最优策略对代价变化的平滑性是否可实现在线学习中的更快收敛？
• RQ3 '追随领先者'算法是否可在无显式正则化的情况下实现对数遗憾？
• RQ4 LMDPs 中的损失函数是否为 exp-凸函数？若不是，其结构是否仍允许实现快速收敛？

主要发现

• '追随领先者'算法实现了 $ O(\log^2 T) $ 的遗憾界，相较于先前的 $ O(T^{3/4}) $ 边界有显著改进。
• 遗憾界关于混合时间 $ \tau $ 呈多项式依赖，关于最小转移概率 $ p^* $ 呈对数依赖，其中 $ B = -\log p^* $。
• 分析表明，最优策略对代价函数的平滑依赖性使得无需正则化即可实现快速学习。
• 该边界推导未假设损失函数的 exp-凸性，表明在此设定下存在其他机制可实现快速收敛。
• 遗憾界中的主导常数被明确给出，相较于先前工作在定量清晰度上有所提升。
• 作者推测，通过更复杂的算法，该边界可进一步优化至 $ O(\log T) $，尽管当前方法已极为高效。