[论文解读] Parameterized MDPs and Reinforcement Learning Problems -- A Maximum Entropy Principle Based Framework

Amber Srivastava, Srinivasa M. Salapaka|arXiv (Cornell University)|Jun 17, 2020

Reinforcement Learning in Robotics参考文献 53被引用 14

一句话总结

本文提出了一种基于最大熵原理（MEP）的参数化马尔可夫决策过程（MDP）与强化学习（RL）问题的框架，通过在成本约束下最大化轨迹熵，实现在噪声数据下的鲁棒策略学习。该方法通过在拉格朗日乘子上进行退火，平衡探索与利用，相比Q-learning、Double Q-learning和Soft Q-learning，实现了更快的收敛速度和更强的鲁棒性，同时支持复杂系统（如5G小细胞网络）中的敏感性分析与最优参数发现。

ABSTRACT

We present a framework to address a class of sequential decision making problems. Our framework features learning the optimal control policy with robustness to noisy data, determining the unknown state and action parameters, and performing sensitivity analysis with respect to problem parameters. We consider two broad categories of sequential decision making problems modelled as infinite horizon Markov Decision Processes (MDPs) with (and without) an absorbing state. The central idea underlying our framework is to quantify exploration in terms of the Shannon Entropy of the trajectories under the MDP and determine the stochastic policy that maximizes it while guaranteeing a low value of the expected cost along a trajectory. This resulting policy enhances the quality of exploration early on in the learning process, and consequently allows faster convergence rates and robust solutions even in the presence of noisy data as demonstrated in our comparisons to popular algorithms such as Q-learning, Double Q-learning and entropy regularized Soft Q-learning. The framework extends to the class of parameterized MDP and RL problems, where states and actions are parameter dependent, and the objective is to determine the optimal parameters along with the corresponding optimal policy. Here, the associated cost function can possibly be non-convex with multiple poor local minima. Simulation results applied to a 5G small cell network problem demonstrate successful determination of communication routes and the small cell locations. We also obtain sensitivity measures to problem parameters and robustness to noisy environment data.

研究动机与目标

• 通过提升探索质量，解决在存在噪声或不完整数据的MDP中的序列决策问题。
• 为具有吸收态与不具有吸收态的无限时域MDP，开发统一的最优策略学习框架。
• 在环境数据存在噪声及状态/动作参数未知的情况下，实现鲁棒学习。
• 对问题参数进行敏感性分析，并确定最优参数配置。
• 将框架扩展至参数化MDP，其中代价函数可能为非凸且存在多个局部极小值。

提出的方法

• 将MDP建模为使用最大熵原理（MEP）的组合优化问题，在预期累积代价的约束下最大化轨迹熵。
• 引入一个控制探索（熵）与利用（代价）之间权衡的拉格朗日乘子β，通过从高熵随机策略到低熵确定性策略的退火过程，实现平衡。
• 在MEP框架下推导出类似贝尔曼方程的状态-动作值函数更新公式，通过逆温度参数β引入熵正则化。
• 使用压缩映射论证证明迭代策略更新方案的收敛性，确保在随机更新下的稳定性。
• 通过联合优化策略与未知参数，将框架应用于参数化MDP，利用基于梯度的更新实现敏感性分析。
• 采用具有有界方差的随机迭代更新规则，在较弱正则性条件下确保收敛。

实验结果

研究问题

• RQ1 如何在无模型强化学习中系统性地增强探索，以在噪声数据条件下提升收敛速度与鲁棒性？
• RQ2 最大熵原理能否有效应用于具有与不具有吸收态的无限时域MDP，以确保稳定且最优的策略学习？
• RQ3 该框架如何在参数化MDP中联合优化控制策略与未知系统参数，尤其当代价函数为非凸且存在多个局部极小值时？
• RQ4 拉格朗日乘子β在平衡探索与利用中起什么作用？β的退火过程如何提升学习性能？
• RQ5 该框架在现实应用中，能在多大程度上提供对问题参数的敏感性度量以及对噪声数据的鲁棒性？

主要发现

• 与Q-learning、Double Q-learning和Soft Q-learning相比，基于MEP的框架在噪声数据条件下实现了更快的收敛速度和更强的鲁棒性。
• 对拉格朗日乘子β的退火过程成功实现了从高熵探索到低熵利用的过渡，从而实现了稳定且最优的策略学习。
• 该框架通过计算最优策略对系统参数的梯度，实现了敏感性分析，为参数鲁棒性提供了洞见。
• 在5G小细胞网络仿真中，该方法成功确定了最优通信路径与小基站位置，展示了其在真实网络优化中的适用性。
• 通过压缩映射论证建立了理论收敛性，且随机更新中的有界方差确保了在噪声观测下的稳定性。
• 即使代价函数为非凸且存在多个局部极小值，该方法在解质量与鲁棒性方面仍优于基线算法。