[论文解读] Lipschitz Continuity in Model-based Reinforcement Learning

Kavosh Asadi, Dipendra Misra+1 more|arXiv (Cornell University)|Apr 19, 2018

Reinforcement Learning in Robotics参考文献 37被引用 37

一句话总结

本文提出了一种用于基于模型强化学习的Lipschitz模型类，其中转移动态被表示为确定性Lipschitz连续函数的混合。通过在神经网络中使用正则化强制Lipschitz连续性，作者利用Wasserstein度量推导出多步预测和价值函数误差的上界，展示了在具有随机动态的连续状态环境中，该方法在泛化能力和规划性能方面均有提升。

ABSTRACT

We examine the impact of learning Lipschitz continuous models in the context of model-based reinforcement learning. We provide a novel bound on multi-step prediction error of Lipschitz models where we quantify the error using the Wasserstein metric. We go on to prove an error bound for the value-function estimate arising from Lipschitz models and show that the estimated value function is itself Lipschitz. We conclude with empirical results that show the benefits of controlling the Lipschitz constant of neural-network models.

研究动机与目标

• 理解所学习模型的Lipschitz连续性如何影响基于模型强化学习中的多步预测和价值函数估计。
• 通过控制模型平滑性，解决连续状态MDP中函数逼近的不稳定性问题。
• 提出一种新型模型类——Lipschitz模型类，利用确定性Lipschitz连续函数的混合来表示随机转移。
• 在Lipschitz连续性条件下，为预测和价值函数估计提供理论误差上界。
• 通过实证验证，控制Lipschitz常数可提升基于模型强化学习中的规划性能和泛化能力。

提出的方法

• 提出一种Lipschitz模型类，将随机动态表示为确定性Lipschitz连续函数的混合。
• 使用Wasserstein度量量化预测的下一状态分布与真实下一状态分布之间的分布差异。
• 应用期望最大化（EM）算法，从轨迹数据中联合学习一组Lipschitz函数及其混合权重。
• 通过权重归一化或谱范数正则化，在神经网络组件中强制实现Lipschitz连续性。
• 利用Wasserstein度量和Lipschitz常数，推导出多步预测误差和价值函数估计误差的理论边界。
• 利用Kantorovich-Rubinstein对偶性，将Wasserstein距离与Lipschitz约束泛函联系起来，以支持分析与优化。

实验结果

研究问题

• RQ1 模型的Lipschitz连续性如何影响其在基于模型强化学习中的多步预测误差？
• RQ2 模型组件的Lipschitz连续性是否能导致更紧的价值函数估计误差上界？
• RQ3 在具有随机性的连续状态环境中，控制Lipschitz常数对规划性能有何影响？
• RQ4 如何通过Lipschitz连续函数的混合有效表示随机转移动态？
• RQ5 与标准函数逼近相比，强制Lipschitz连续性是否能提升基于模型强化学习中的泛化能力和鲁棒性？

主要发现

• Lipschitz模型的多步预测误差被一个关于单步误差和Lipschitz常数的函数所界定，且以Wasserstein度量作为误差度量。
• 由Lipschitz模型估计出的价值函数本身也是Lipschitz连续的，从而确保了价值估计的稳定与平滑。
• 实证结果表明，在监督学习中，Lipschitz常数与测试损失之间存在U型关系，表明存在一个最优的泛化值。
• 在网格世界环境中，Lipschitz模型类的表现优于表格型Q-learning和期望值模型，后者因缺乏对随机性的建模而失效。
• EM算法成功地从数据中学习到Lipschitz模型类，在监督学习和强化学习设置中均观察到收敛。
• 控制Lipschitz常数可提升规划中的策略质量，如在网格世界环境中获得更高的回报。