[论文解读] Contextual Markov Decision Processes

Assaf Hallak, Dotan Di Castro+1 more|arXiv (Cornell University)|Feb 8, 2015

Reinforcement Learning in Robotics参考文献 24被引用 72

一句话总结

本文提出了上下文马尔可夫决策过程（CMDP），一种用于建模在潜在静态上下文（如用户人口统计特征）下的序列决策制定的框架。它提出了一种模块化算法——CECE，结合探索、聚类和利用，以在具有可证明遗憾界的情况下学习上下文相关的MDP，并在更多数据和更长轨迹下表现出更优的性能。

ABSTRACT

We consider a planning problem where the dynamics and rewards of the environment depend on a hidden static parameter referred to as the context. The objective is to learn a strategy that maximizes the accumulated reward across all contexts. The new model, called Contextual Markov Decision Process (CMDP), can model a customer's behavior when interacting with a website (the learner). The customer's behavior depends on gender, age, location, device, etc. Based on that behavior, the website objective is to determine customer characteristics, and to optimize the interaction between them. Our work focuses on one basic scenario--finite horizon with a small known number of possible contexts. We suggest a family of algorithms with provable guarantees that learn the underlying models and the latent contexts, and optimize the CMDPs. Bounds are obtained for specific naive implementations, and extensions of the framework are discussed, laying the ground for future research.

研究动机与目标

• 解决当环境动态依赖于未观测到的静态上下文（如用户年龄、性别或位置）时，学习和优化MDP的挑战。
• 克服在线系统中用户身份在初始交互时未知所导致的冷启动问题。
• 开发一种可处理的、模块化的框架，将上下文识别与策略优化分离，从而在泛化能力上优于标准MDP或POMDP。
• 为具有已知且数量较少的上下文的有限horizon回合制设置，提供关于遗憾和收敛性的理论保证。
• 为未来在无限上下文、并发强化学习以及大规模状态/动作空间中的可扩展学习研究奠定基础。

提出的方法

• 提出一种新模型——上下文MDP（CMDP），其中转移和奖励函数依赖于一个隐藏的、静态的上下文变量。
• 设计CECE算法——包含探索、聚类和利用三个阶段，其中探索阶段收集轨迹，聚类阶段推断上下文。
• 在上下文分类后使用Q-learning作为利用策略，同时在识别阶段采用均匀探索。
• 使用最大似然估计在每个识别出的上下文聚类内学习MDP参数。
• 引入一种遗憾分析框架，同时考虑上下文误分类和次优策略学习的影响。
• 使用参数敏感性分析评估关键超参数（如探索比例 $\eta = T_{EC}/T$）带来的性能权衡。

实验结果

研究问题

• RQ1 我们能否在具有可证明保证的有限horizon回合制设置下，同时学习潜在MDP参数和隐含上下文？
• RQ2 当上下文识别需要专用阶段时，探索-利用权衡如何影响性能？
• RQ3 增加上下文数量对学习效率和遗憾有何影响？
• RQ4 如何通过基于模型或基于奖励的分类方法改进上下文聚类？
• RQ5 将CMDP扩展到无限或并发学习设置时，存在哪些理论和实际挑战？

主要发现

• 随着回合数增加和轨迹长度变长，平均奖励提升，表明上下文聚类和模型学习随时间改善。
• 由于更难实现准确的聚类和模型识别，上下文数量增加会导致性能下降。
• 探索比例 $\eta = T_{EC}/T$ 显示出明确的权衡：更高的探索有助于上下文检测，但减少了策略优化的时间。
• 即使聚类达到最优，由于识别阶段的固有成本，最优奖励与实际达到的奖励之间仍存在差距。
• 在特定假设下，CECE算法实现了可证明的遗憾界，表明其在有限上下文设置下的理论稳健性。
• 将CMDP扩展至无限上下文和并发强化学习被识别为开放问题，需进一步理论发展和精确建模。