[论文解读] Markov Decision Processes with Continuous Side Information

Aditya Modi, Nan Jiang+2 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Bandit Algorithms Research参考文献 20被引用 6

一句话总结

本文针对具有连续附带信息的上下文马尔可夫决策过程（CMDPs）提出了强化学习算法，引入了Cover-Rmax以处理MDP参数的平滑变化，以及KWIK_LR-Rmax以处理MDP的线性组合。研究建立了PAC边界，表明在一般设置下样本复杂度随上下文维度呈指数依赖，但在利用KWIK学习技术的线性结构下可显著改善。

ABSTRACT

We consider a reinforcement learning (RL) setting in which the agent interacts with a sequence of episodic MDPs. At the start of each episode the agent has access to some side-information or context that determines the dynamics of the MDP for that episode. Our setting is motivated by applications in healthcare where baseline measurements of a patient at the start of a treatment episode form the context that may provide information about how the patient might respond to treatment decisions. We propose algorithms for learning in such Contextual Markov Decision Processes (CMDPs) under an assumption that the unobserved MDP parameters vary smoothly with the observed context. We also give lower and upper PAC bounds under the smoothness assumption. Because our lower bound has an exponential dependence on the dimension, we consider a tractable linear setting where the context is used to create linear combinations of a finite set of MDPs. For the linear setting, we give a PAC learning algorithm based on KWIK learning techniques.

研究动机与目标

• 为解决在大量或无限多个MDP中学习近似最优策略的挑战，其中每个回合由依赖于上下文的MDP所决定。
• 建模MDP参数随连续上下文平滑变化的场景，从而实现在相似上下文间共享数据。
• 通过利用结构化假设（如有限组MDP的线性组合）来降低样本复杂度。
• 提供正式的PAC泛化边界，以量化在平滑性和线性参数假设下的学习效率。
• 证明所提方法支持对抗性上下文序列，而许多现有的PAC-MDP方法则不支持。

提出的方法

• 提出Cover-Rmax，一种基于模型的PAC探索算法，通过假设MDP参数随上下文平滑变化，实现对相似上下文的数据聚合。
• 提出一个下界构造，表明任何针对平滑CMDPs的PAC算法都必须对上下文维度具有指数依赖，揭示了其固有的困难性。
• 构建一个线性设定，其中上下文用于形成一组有限未知MDP的线性组合，从而实现结构化学习。
• 采用KWIK学习技术，特别是KWIK线性回归，作为子程序，以高效估计线性组合模型中的MDP参数。
• 设计KWIK_LR-Rmax算法，将KWIK回归与Rmax风格的探索相结合，以确保样本高效的探索。
• 为两种算法推导出PAC边界，表明在满足线性假设时，样本复杂度相比一般平滑情况有显著改善。

实验结果

研究问题

• RQ1 当MDP参数随上下文平滑变化时，具有连续上下文的CMDP中学习的根本样本复杂度极限是什么？
• RQ2 如线性组合有限组MDP的结构假设，是否能显著降低CMDP学习中的样本复杂度？
• RQ3 在平滑性假设下，CMDP学习的样本复杂度如何随上下文维度变化？
• RQ4 KWIK学习技术能否与基于模型的RL算法（如Rmax）有效结合，以实现在线性CMDP中的PAC学习？
• RQ5 标准PAC-MDP方法在应用于具有上下文依赖动态的CMDPs时存在哪些局限性？

主要发现

• 本文建立了下界，表明任何针对平滑CMDPs的PAC算法都必须对上下文维度具有指数依赖，揭示了其固有的困难性。
• 在一般平滑CMDP设定下，Cover-Rmax算法实现了PAC学习，其样本复杂度随上下文维度呈指数增长。
• 在满足线性组合假设的条件下，KWIK_LR-Rmax算法实现了显著改进的样本复杂度，对上下文维度的依赖降低至对数或多项式级别。
• KWIK_LR-Rmax的PAC边界依赖于线性回归的KWIK边界，而后者在对抗性情况下已知为指数依赖，凸显了建模假设的重要性。
• 所提算法支持对抗性上下文序列，而许多现有PAC-MDP方法则假设上下文为i.i.d.或随机的。
• 本文表明，将上下文加入状态空间会导致计算和存储成本上升，而所提方法通过将上下文与规划解耦，避免了这一问题。