[论文解读] Lightning Does Not Strike Twice: Robust MDPs with Coupled Uncertainty

Shie Mannor, Ofir Mebel+1 more|arXiv (Cornell University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 17被引用 25

一句话总结

本文提出了一种新颖的鲁棒MDP框架，通过'闪电不会两次击中同一地点'原则对参数不确定性进行建模——即限制状态-参数偏差的数量为有界计数——从而相较于传统的解耦不确定性模型，得到的策略更加不保守。该方法能够实现最优策略的可计算性，并提供概率保证，为控制与学习系统中的不确定性决策提供了一种更真实且高效的替代方案。

ABSTRACT

We consider Markov decision processes under parameter uncertainty. Previous studies all restrict to the case that uncertainties among different states are uncoupled, which leads to conservative solutions. In contrast, we introduce an intuitive concept, termed "Lightning Does not Strike Twice," to model coupled uncertain parameters. Specifically, we require that the system can deviate from its nominal parameters only a bounded number of times. We give probabilistic guarantees indicating that this model represents real life situations and devise tractable algorithms for computing optimal control policies using this concept.

研究动机与目标

• 解决由解耦参数不确定性模型引起的鲁棒MDP中的过度保守性问题。
• 以反映现实世界约束的方式建模参数不确定性，即极端偏差极为罕见。
• 为在有界偏差约束下实现最优策略计算，开发一种可计算的计算框架。
• 提供概率保证，表明有界偏差模型能够反映现实系统行为。
• 提升控制与强化学习中不确定性下的决策鲁棒性。

提出的方法

• 提出一种鲁棒MDP公式，其中状态-参数偏离名义值的次数被限制为常数。
• 将不确定性建模为可偏离名义参数的状态转移总数的约束。
• 采用鲁棒优化框架，计算在有界偏差限制内最坏偏差模式下的最优策略。
• 使用动态规划与分解技术，实现最优策略的可计算性。
• 推导出超出偏差限制可能性的概率界，将模型与现实合理性相联系。
• 将该框架应用于有限horizon与无限horizon MDP，确保可扩展性与实际适用性。

实验结果

研究问题

• RQ1 如何在MDP中建模参数不确定性，以避免传统鲁棒MDP的过度保守性？
• RQ2 通过有界偏差数耦合各状态间的不确定性会产生何种影响？
• RQ3 我们能否在此新不确定性模型下高效计算最优策略？
• RQ4 有界偏差模型的概率保证与标准鲁棒MDP相比如何？
• RQ5 '闪电不会两次击中同一地点'原则是否在控制与学习应用中反映了现实系统行为？

主要发现

• 所提出的有界偏差模型显著降低了与标准鲁棒MDP中解耦不确定性相比的策略保守性。
• 该框架通过动态规划与鲁棒优化技术，实现了最优策略的可计算性。
• 推导出概率界，表明有界偏差模型与现实中极端参数跃迁罕见的情况一致。
• 该方法在保持最坏情况偏差下鲁棒性的同时，实现了更高的期望奖励性能。
• 该方法适用于有限horizon与无限horizon MDP，展示了可扩展性与实际相关性。
• 实验结果表明，有界偏差模型产生的策略比传统鲁棒MDP更具进取性与有效性。