[论文解读] A Probabilistic Interpretation of Self-Paced Learning with Applications to Reinforcement Learning

Pascal Klink, Hany Abdulsamad+4 more|arXiv (Cornell University)|Feb 25, 2021

Reinforcement Learning in Robotics被引用 9

一句话总结

本文为强化学习（RL）中的自 paced 学习（SPL）提出了一种概率解释，将课程生成建模为在任务复杂度与目标任务分布之间取得平衡的概率分布采样过程。通过将 SPL 与 RL-as-inference 框架相结合，该方法在稀疏奖励的多样化 RL 环境中提升了样本效率，并避免了陷入不良局部最优解，在基于回合制和基于步数的 RL 设置中均优于当前最先进课程方法。

ABSTRACT

Across machine learning, the use of curricula has shown strong empirical potential to improve learning from data by avoiding local optima of training objectives. For reinforcement learning (RL), curricula are especially interesting, as the underlying optimization has a strong tendency to get stuck in local optima due to the exploration-exploitation trade-off. Recently, a number of approaches for an automatic generation of curricula for RL have been shown to increase performance while requiring less expert knowledge compared to manually designed curricula. However, these approaches are seldomly investigated from a theoretical perspective, preventing a deeper understanding of their mechanics. In this paper, we present an approach for automated curriculum generation in RL with a clear theoretical underpinning. More precisely, we formalize the well-known self-paced learning paradigm as inducing a distribution over training tasks, which trades off between task complexity and the objective to match a desired task distribution. Experiments show that training on this induced distribution helps to avoid poor local optima across RL algorithms in different tasks with uninformative rewards and challenging exploration requirements.

研究动机与目标

• 尽管自动化课程学习（CL）在 RL 中取得了经验上的成功，但其理论基础仍显不足，本文旨在解决该问题。
• 将自 paced 学习形式化为对训练任务的概率采样机制，以指导课程生成。
• 将 SPL 与 RL-as-inference 框架相结合，实现在上下文 RL 中的合理课程诱导。
• 在具有稀疏奖励和高探索需求的复杂 RL 环境中，提升学习效率与鲁棒性。
• 在多种 RL 算法与环境中，证明该方法优于现有 CL 方法。

提出的方法

• 将自 paced 学习重新表述为对训练任务的分布诱导，其中样本权重对应于采样概率。
• 定义一个联合目标函数，权衡最小化智能体的价值函数（即任务难度）与最小化到目标任务分布的 KL 散度。
• 利用 RL-as-inference 框架推导出变分推理目标，将 SPL 与成熟的正则化技术相连接。
• 采用温度推理（tempered inference）以稳定训练过程，并实现从简单到复杂任务的平滑课程推进。
• 通过基于任务估计难度与分布对齐程度的动态重加权方式，实现课程的构建。
• 在基于 PPO、SAC 和 TRPO 的算法中，将该方法应用于回合制与步数制 RL 设置。

实验结果

研究问题

• RQ1 自 paced 学习在 RL 的概率框架中如何被正式解释？
• RQ2 基于分布的课程生成方法是否能提升稀疏奖励 RL 中的样本效率与泛化能力？
• RQ3 与现有自动化课程学习方法相比，该方法在性能与鲁棒性方面表现如何？
• RQ4 在 RL 中平衡任务复杂度与目标分布匹配，对避免不良局部最优解有何影响？
• RQ5 该方法能否在不修改网络架构的前提下，有效集成到标准 RL 算法中？

主要发现

• 所提出的概率 SPL 框架在多种 RL 算法（PPO、SAC、TRPO）在稀疏奖励环境中显著提升了学习性能。
• 在 ant-gate 环境中，SPDL 使用 SAC 达到了 0.75 的捕获率，优于 GoalGAN（0.50）与 ALP-GMM（0.25），并达到或超越了当前最先进 CL 方法的水平。
• 在小球捕获环境中，SPDL 使用 PPO 实现了 0.75 的平均捕获率，表现出更优的可靠性与目标导向行为，优于基线方法。
• 使用 SPDL 训练的策略展现出更一致且目标导向的行为，避免了直接在目标任务上训练时出现的“不作为”策略。
• 该方法通过逐步引入更难的任务，有效避免了不良局部最优解，表现为训练过程中奖励累积稳定且持续较高。
• SPL 与 RL-as-inference 的结合提供了一个理论基础坚实的课程学习机制，实现了更好的泛化能力与样本效率。