[论文解读] Metrics and continuity in reinforcement learning

Charline Le Lan, Marc G. Bellemare+1 more|arXiv (Cornell University)|Feb 2, 2021

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出了一种统一的形式化方法，通过度量（metrics）定义强化学习中的状态空间拓扑结构，建立其层次关系，并展示了其在连续状态马尔可夫决策过程（MDPs）中对学习性能的理论与实证影响。通过使用度量形式化状态相似性，该工作实现了更优的泛化能力，并为设计样本高效强化学习算法奠定了基础。

ABSTRACT

In most practical applications of reinforcement learning, it is untenable to maintain direct estimates for individual states; in continuous-state systems, it is impossible. Instead, researchers often leverage {\em state similarity} (whether explicitly or implicitly) to build models that can generalize well from a limited set of samples. The notion of state similarity used, and the neighbourhoods and topologies they induce, is thus of crucial importance, as it will directly affect the performance of the algorithms. Indeed, a number of recent works introduce algorithms assuming the existence of well-behaved neighbourhoods, but leave the full specification of such topologies for future work. In this paper we introduce a unified formalism for defining these topologies through the lens of metrics. We establish a hierarchy amongst these metrics and demonstrate their theoretical implications on the Markov Decision Process specifying the reinforcement learning problem. We complement our theoretical results with empirical evaluations showcasing the differences between the metrics considered.

研究动机与目标

• 为解决在直接状态估计不可行的连续状态强化学习中泛化能力的挑战。
• 通过基于度量的系统性框架，形式化状态相似性的概念及其诱导的拓扑结构。
• 建立度量的层次结构，并分析其对MDP和学习收敛性的理论影响。
• 在实际强化学习环境中，实证评估不同度量对算法性能的影响。

提出的方法

• 提出一种形式化框架，通过度量定义状态空间拓扑，实现状态间的结构化泛化。
• 引入度量的层次结构（如Lp范数、基于核的度量），并分析其在MDP背景下的性质。
• 推导出度量选择与强化学习算法中样本效率和收敛行为之间关系的理论结果。
• 使用基于核的度量隐式定义邻域结构，实现在连续空间中的函数逼近。
• 在基准强化学习环境中进行实证评估，比较不同度量假设下的学习动态。
• 分析诱导出的拓扑结构与邻域结构，评估其在值函数泛化中的适用性。

实验结果

研究问题

• RQ1 不同的度量选择如何影响状态空间的拓扑结构，以及其在强化学习中导致的泛化效果？
• RQ2 当在状态空间上使用结构化度量时，能否为强化学习算法提供理论保证？
• RQ3 度量的层次结构如何影响连续状态MDP中的样本效率和收敛性？
• RQ4 在实践中，哪种度量能诱导出最有效的邻域结构以实现值函数逼近？

主要发现

• 度量的选择显著影响状态空间的拓扑结构，从而影响连续状态强化学习中的泛化能力和学习性能。
• 建立了度量的层次结构，其中某些度量（如基于核的度量）由于具有更平滑的邻域结构，能够实现更优的泛化。
• 理论分析表明，合理选择的度量可提升值函数学习的样本效率和稳定性。
• 实证结果表明，在不同度量假设下，学习速度和最终性能存在可测量的差异。