[论文解读] Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation

Peide Huang, Mengdi Xu+4 more|arXiv (Cornell University)|Oct 18, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出 GRADIENT，一种课程强化学习框架，通过使用 Wasserstein barycenter 将任务分布插值形式化为最优传输问题，实现从源任务到目标任务的平滑、渐进式策略迁移。通过利用任务相关的上下文距离度量，并处理离散与连续上下文，GRADIENT 在运动控制与操作任务中相较于最先进基线方法，展现出更高的学习效率与渐近性能。

ABSTRACT

Curriculum Reinforcement Learning (CRL) aims to create a sequence of tasks, starting from easy ones and gradually learning towards difficult tasks. In this work, we focus on the idea of framing CRL as interpolations between a source (auxiliary) and a target task distribution. Although existing studies have shown the great potential of this idea, it remains unclear how to formally quantify and generate the movement between task distributions. Inspired by the insights from gradual domain adaptation in semi-supervised learning, we create a natural curriculum by breaking down the potentially large task distributional shift in CRL into smaller shifts. We propose GRADIENT, which formulates CRL as an optimal transport problem with a tailored distance metric between tasks. Specifically, we generate a sequence of task distributions as a geodesic interpolation (i.e., Wasserstein barycenter) between the source and target distributions. Different from many existing methods, our algorithm considers a task-dependent contextual distance metric and is capable of handling nonparametric distributions in both continuous and discrete context settings. In addition, we theoretically show that GRADIENT enables smooth transfer between subsequent stages in the curriculum under certain conditions. We conduct extensive experiments in locomotion and manipulation tasks and show that our proposed GRADIENT achieves higher performance than baselines in terms of learning efficiency and asymptotic performance.

研究动机与目标

• 为解决课程强化学习（CRL）中大规模分布偏移的问题，通过将其分解为更小、可管理的过渡阶段。
• 通过最优传输理论，将课程生成形式化为源与目标任务分布之间的测地线插值。
• 开发一种方法，处理非参数化、连续与离散的上下文空间，而无需假设参数化分布形式。
• 通过理论保证转移性能，确保在课程阶段之间实现平滑的策略迁移。
• 在导航与操作等复杂强化学习任务中，提升学习效率与渐近性能。

提出的方法

• 使用 Wasserstein barycenter 将 CRL 形式化为最优传输问题，以在源与目标之间生成中间任务分布。
• 引入基于估计回报差异的任务相关上下文距离度量 $ d^\pi(c_i, c_j) = |J^\pi(c_i) - J^\pi(c_j)| $，以反映任务相似性。
• 通过自编码器学习嵌入空间，将上下文映射到潜在空间，其中欧氏距离近似 Wasserstein 距离，实现在无支持限制设置下的插值。
• 采用两阶段算法：首先，通过高斯过程回归从收集的轨迹中估计策略价值函数 $ J^\pi(c) $；其次，训练编码器-解码器网络以嵌入上下文距离度量。
• 通过逐步增加 $ \alpha \in [0,1] $ 实现插值，生成一系列作为源与目标之间 barycenter 的任务分布。
• 采用课程循环机制，即在每个插值分布上训练智能体，随后更新策略并优化距离度量。

实验结果

研究问题

• RQ1 最优传输能否有效用于在 CRL 中通过插值源与目标任务分布，生成自然、渐进的课程？
• RQ2 如何在连续与离散设置下，定义一种任务相关、具有上下文意义的距离度量，以反映任务间的难度差距？
• RQ3 所提出的方法能否确保在连续课程阶段之间实现平滑策略迁移？在何种条件下可保证这一点？
• RQ4 与线性插值及现有 CRL 基线相比，使用 Wasserstein barycenter 搭配学习嵌入是否能在学习效率与最终性能方面表现更优？
• RQ5 该方法如何在不假设参数形式的前提下，处理非参数化与隐式任务分布？

主要发现

• GRADIENT 的学习效率高于最先进 CRL 基线，在运动控制与操作任务中收敛更快。
• 该方法展现出更优的渐近性能，在如 U 型迷宫等复杂环境中实现了更高的最终回报。
• 在带障碍物的 U 型迷宫中，GRADIENT 的插值方法避免了线性插值的缺陷，覆盖了中间的、非零概率的起始位置。
• 理论分析表明，在特定条件下，GRADIENT 可确保课程阶段之间的平滑策略迁移，最小化性能下降。
• 学习距离嵌入的使用使得即使在 $ l_2 $ 距离无法捕捉结构化任务差异的自由支持、连续上下文空间中，也能实现有效插值。
• 实验结果表明，随着策略在各阶段的改进，插值任务分布的质量也随之提升，从而推动整体课程进展更加高效。