[论文解读] A Taxonomy of Similarity Metrics for Markov Decision Processes

Álvaro Visús, Javier García+1 more|arXiv (Cornell University)|Mar 8, 2021

Reinforcement Learning in Robotics参考文献 29被引用 9

一句话总结

本文提出了一种新颖的分类法，将马尔可夫决策过程（MDP）的相似性度量划分为基于模型的和基于性能的两类，从而实现对迁移强化学习中度量的系统性比较与选择。主要贡献在于构建了一个结构化框架，通过将度量选择与迁移技术及任务特性相匹配，提升迁移学习效果，减少负迁移，并提高在复杂环境（如仿真到真实设置）中的学习效率。

ABSTRACT

Although the notion of task similarity is potentially interesting in a wide range of areas such as curriculum learning or automated planning, it has mostly been tied to transfer learning. Transfer is based on the idea of reusing the knowledge acquired in the learning of a set of source tasks to a new learning process in a target task, assuming that the target and source tasks are close enough. In recent years, transfer learning has succeeded in making Reinforcement Learning (RL) algorithms more efficient (e.g., by reducing the number of samples needed to achieve the (near-)optimal performance). Transfer in RL is based on the core concept of similarity: whenever the tasks are similar, the transferred knowledge can be reused to solve the target task and significantly improve the learning performance. Therefore, the selection of good metrics to measure these similarities is a critical aspect when building transfer RL algorithms, especially when this knowledge is transferred from simulation to the real world. In the literature, there are many metrics to measure the similarity between MDPs, hence, many definitions of similarity or its complement distance have been considered. In this paper, we propose a categorization of these metrics and analyze the definitions of similarity proposed so far, taking into account such categorization. We also follow this taxonomy to survey the existing literature, as well as suggesting future directions for the construction of new metrics.

研究动机与目标

• 解决在强化学习中有效迁移学习时选择合适相似性度量的关键挑战。
• 识别并基于其基本原理和计算标准，对现有MDP相似性度量进行分类。
• 提供一个结构化分类法，以支持根据特定迁移技术与任务类型选择合适的度量。
• 为未来研究提供指导，开发混合型或语义感知的相似性度量，以更好地反映人类直觉与任务结构。
• 支持超越迁移学习的应用，如课程学习、自动规划以及仿真到真实策略迁移。

提出的方法

• 提出双分支分类法：基于模型的度量（基于状态、动作、转移、奖励等MDP结构组件）与基于性能的度量（基于智能体行为或学习结果）。
• 根据其计算方法对现有度量进行分类，例如比较转移动态、奖励函数或策略性能。
• 区分学习前度量（基于模型）与在线或学习后度量（基于性能），包括重用收益、启动优势和渐近性能。
• 利用该分类法对MDP相似性的文献进行综述与组织，突出不同方法之间的差距与共性。
• 引入在学习过程中动态调整度量的思路，以根据不断演化的相似性估计调整探索偏差。
• 建议将语义特征（如迷宫布局、Pac-Man中的幽灵行为）整合到相似性度量中，以与人类对任务相似性的感知保持一致。

实验结果

研究问题

• RQ1 如何系统性地对MDP之间的相似性进行分类，以支持强化学习中的迁移学习？
• RQ2 在计算方式、时机与实用性方面，基于模型与基于性能的相似性度量之间存在哪些关键差异？
• RQ3 相似性度量在多大程度上可减少负迁移并提高现实世界强化学习应用中的学习效率？
• RQ4 能否在学习过程中动态更新相似性度量，以自适应调整探索策略？
• RQ5 如何将语义或领域特定的特征整合到相似性度量中，以提升与人类直觉的一致性？

主要发现

• 该分类法成功区分了基于模型的度量（依赖于MDP的结构组件，可在学习前计算）与基于性能的度量（需要学习结果，通常在事后计算）。
• 基于性能的度量（如重用收益、启动优势和渐近性能）更直接地与正向迁移目标对齐，因此是任务相似性的更有效指标。
• 基于模型的度量适用于对候选源任务进行预筛选，但由于不影响性能的结构差异，可能无法始终预测正向迁移。
• 在线相似性计算允许动态调整探索偏差，提供了介于静态预计算与事后评估之间的折中方案。
• 不存在单一的通用度量；最佳度量取决于迁移技术与任务情境，强调了度量与技术匹配的重要性。
• 未来的度量应整合结构特征、性能特征与语义特征，以更好地反映类人任务相似性感知，并提升仿真到真实策略迁移的效果。