[论文解读] Distributionally Robust Counterpart in Markov Decision Processes

P. L. Yu, Huan Xu|arXiv (Cornell University)|Jan 29, 2015

Risk and Portfolio Optimization参考文献 19被引用 4

一句话总结

本文通过将模糊集结构从嵌套集扩展至不相交和线性约束分布，推广了分布鲁棒马尔可夫决策过程（MDPs），实现了对参数不确定性的更灵活建模。所提方法采用逆向归纳法计算鲁棒策略，以在广义模糊集内最坏情况分布下的期望性能最大化，实现了多项式时间可解性，并在仿真研究中优于以往的鲁棒与分布鲁棒方法。

ABSTRACT

This paper studies Markov Decision Processes under parameter uncertainty. We adapt the distributionally robust optimization framework, and assume that the uncertain parameters are random variables following an unknown distribution, and seeks the strategy which maximizes the expected performance under the most adversarial distribution. In particular, we generalize previous study \cite{xu2012distributionally} which concentrates on distribution sets with very special structure to much more generic class of distribution sets, and show that the optimal strategy can be obtained efficiently under mild technical condition. This significantly extends the applicability of distributionally robust MDP to incorporate probabilistic information of uncertainty in a more flexible way.

研究动机与目标

• 为解决MDP中的参数不确定性问题，通过引入超出固定最坏情况假设的不确定参数概率信息。
• 将分布鲁棒MDP框架扩展至超越先前工作中使用的限制性嵌套集模糊集的范围。
• 为包含不相交和线性约束分布的广义模糊集，开发一种可计算的解决方案方法。
• 在机器更换和混合高斯分布及多模态不确定性下的路径规划等实际问题中，展示性能提升。
• 通过引入更丰富的概率先验信息，实现对序列随机系统中更真实、更鲁棒的决策。

提出的方法

• 本文引入了一类受[18]启发的广义模糊集，允许对不确定参数使用嵌套和不相交的置信区域。
• 通过矩约束和概率界对模糊集进行建模，支持均值、方差及其他统计信息的整合。
• 开发了一种类似贝尔曼方程的逆向归纳算法，用于计算在模糊集内最坏情况分布下期望奖励最大的分布鲁棒策略。
• 在较弱技术条件下，利用对偶性和凸优化技术，将鲁棒MDP转化为可计算的线性规划问题。
• 该方法支持具有广义模糊集的有限时域和无限时域（折扣）MDP。
• 通过允许不相交的置信区间（如用于建模混合高斯分布），高效处理多模态不确定性。

实验结果

研究问题

• RQ1 分布鲁棒MDP能否被推广至非嵌套结构的模糊集，从而实现对多模态参数分布的更好建模？
• RQ2 如何系统性地将均值、方差和置信区间等概率信息整合进MDP的模糊集中？
• RQ3 当使用更广义的模糊集时，所得的分布鲁棒MDP问题是否仍具有计算可解性？
• RQ4 与名义、鲁棒及先前的分布鲁棒MDP方法相比，所提方法在参数不确定性下的期望性能是否更优？
• RQ5 广义模糊集框架能否有效建模现实世界中的不确定性模式，如混合高斯奖励分布中的模式？

主要发现

• 在混合高斯奖励的机器更换问题中，所提广义模糊集分布鲁棒MDP优于名义、鲁棒及先前分布鲁棒策略，平均折扣奖励达 -1.9×10⁻³，而鲁棒方法为 -2.9×10⁻³。
• 在路径规划问题中，所提方法采用跳跃概率的不相交置信区间，在λ的整个取值范围内均持续优于所有其他策略，展现出对多模态不确定性的优越鲁棒性。
• 所提方法的计算时间与其他鲁棒方法相当，机器更换问题耗时820秒，路径规划问题耗时654秒，表明其具有实际效率。
• 通过允许不相交的置信集，该方法成功建模了多模态分布（如混合高斯分布），而先前的嵌套集方法无法有效处理此类情况。
• 在较弱技术条件下，逆向归纳算法仍保持计算可解性，可实现广义分布鲁棒MDP的多项式时间求解。
• 仿真结果证实，通过灵活的模糊集整合更丰富的概率信息，可在序列不确定性决策中生成更有效且更不保守的策略。