[论文解读] Online learning in MDPs with linear function approximation and bandit feedback

Gergely Neu, Julia Olkhovskaya|arXiv (Cornell University)|Jul 3, 2020

Advanced Bandit Algorithms Research参考文献 43被引用 9

一句话总结

该论文提出 Online Q-REPS，一种针对具有线性函数逼近和bandit反馈的周期性马尔可夫决策过程的在线学习算法，其中奖励在各周期之间以对抗方式变化。该算法在不依赖状态空间大小的情况下，实现了 $\widetilde{\mathcal{O}}(\sqrt{dHT})$ 的遗憾界，利用了对转移动态的完全知识和低维特征映射。

ABSTRACT

We consider an online learning problem where the learner interacts with a Markov decision process in a sequence of episodes, where the reward function is allowed to change between episodes in an adversarial manner and the learner only gets to observe the rewards associated with its actions. We allow the state space to be arbitrarily large, but we assume that all action-value functions can be represented as linear functions in terms of a known low-dimensional feature map, and that the learner has access to a simulator of the environment that allows generating trajectories from the true MDP dynamics. Our main contribution is developing a computationally efficient algorithm that we call MDP-LinExp3, and prove that its regret is bounded by $\widetilde{\mathcal{O}}\big(H^2 T^{2/3} (dK)^{1/3}\big)$, where $T$ is the number of episodes, $H$ is the number of steps in each episode, $K$ is the number of actions, and $d$ is the dimension of the feature map. We also show that the regret can be improved to $\widetilde{\mathcal{O}}\big(H^2 \sqrt{TdK}\big)$ under much stronger assumptions on the MDP dynamics. To our knowledge, MDP-LinExp3 is the first provably efficient algorithm for this problem setting.

研究动机与目标

• 解决具有对抗性奖励变化和bandit反馈的周期性MDP中的在线学习问题，其中状态空间可任意大。
• 开发一种计算高效的算法，通过使用线性函数逼近实现与状态空间大小无关的遗憾界。
• 对具有函数逼近的在线强化学习中的优化误差和奖励估计偏差提供理论分析。
• 将现有在线RL框架扩展到具备完全MDP动态知识和对抗性奖励的设置，同时保持低遗憾。
• 通过分析完全动态知识的影响，为未来关于动态不确定性的工作奠定基础。

提出的方法

• 该算法使用 Online Q-REPS，其在每个周期开始时求解一个 $d^2$-维的凸优化问题以计算策略更新。
• 它采用维度为 $d$ 的特征映射来表示值函数和策略，假设所有动作-值函数在特征上都是线性的。
• 该方法使用逆倾向评分与重要性加权来从bandit反馈中估计奖励，通过精心设计估计方案以最小化偏差。
• 它基于相对熵 $D(\mu^* \| \mu_0)$ 引入正则化项，以控制最优策略与初始分布之间的距离。
• 通过 $\| \widehat{u}_{t,h} - u_{t,h} \|_1 \leq \sqrt{2\alpha\varepsilon}$ 来限制优化误差，其中 $\varepsilon$ 为优化容差。
• 通过高斯平滑技术控制奖励估计偏差，其中 $\|b_{t,h}\|_\infty \leq \sigma R \exp(-\gamma\beta\lambda_{\min}M)$。

实验结果

研究问题

• RQ1 能否在具有对抗性奖励和bandit反馈的周期性MDP中实现与状态空间大小无关的在线学习遗憾？
• RQ2 在具有线性函数逼近的在线RL中，如何对策略更新中的优化误差进行有界控制？
• RQ3 在具有线性MDP的bandit反馈设置中，奖励估计偏差对遗憾的影响是什么？
• RQ4 是否可以在不假设状态-动作分布之间似然比有界的条件下推导出遗憾界？
• RQ5 当转移函数已知且奖励为对抗性时，是否能在大规模MDP中实现次线性遗憾？

主要发现

• 该算法实现了 $\mathcal{O}(\sqrt{dHTD(\mu^* \| \mu_0)})$ 的遗憾界，根据标准假设可简化为 $\widetilde{\mathcal{O}}(\sqrt{dHT})$。
• 遗憾界不依赖于特征协方差矩阵的特征值或MDP的混合时间。
• 该方法计算高效，每周期求解一个 $d^2$-维凸规划，时间复杂度在 $d$ 和 $1/\varepsilon$ 上为多项式。
• 分析严格考虑了优化误差，表明 $\| \widehat{u}_{t,h} - u_{t,h} \|_1 \leq \sqrt{2\alpha\varepsilon}$。
• 通过高斯平滑技术限制了奖励估计偏差，其中 $\|b_{t,h}\|_\infty \leq \sigma R \exp(-\gamma\beta\lambda_{\min}M)$。
• 在表格情形（$d = |\mathcal{X}||\mathcal{A}|$）下，该边界恢复了 Zimin 和 Neu（2017）提出的 O-REPS 的极小化最大最优保证。