[论文解读] Accuracy-based Curriculum Learning in Deep Reinforcement Learning
本文提出了一种基于准确率的课程学习方法，用于深度强化学习，其中智能体通过根据能力进展动态调整任务难度（即变化准确率要求ε），实现对任务难度的自适应控制。通过优先选择早期较简单的准确率水平并逐步过渡到更严格的水平，该方法在使用DDPG与UVFA的Reacher环境中，显著提升了学习效率和最终性能，相较于随机或固定准确率调度策略具有明显优势。
In this paper, we investigate a new form of automated curriculum learning based on adaptive selection of accuracy requirements, called accuracy-based curriculum learning. Using a reinforcement learning agent based on the Deep Deterministic Policy Gradient algorithm and addressing the Reacher environment, we first show that an agent trained with various accuracy requirements sampled randomly learns more efficiently than when asked to be very accurate at all times. Then we show that adaptive selection of accuracy requirements, based on a local measure of competence progress, automatically generates a curriculum where difficulty progressively increases, resulting in a better learning efficiency than sampling randomly.
研究动机与目标
- 探究动态调整准确率要求（ε）是否能提升深度强化学习中的学习效率。
- 评估能力进展是否可作为连续控制任务中课程生成的有效引导信号。
- 对比随机采样ε值与基于进展的自适应选择策略，以提升样本效率。
- 探索从宽松准确率约束中学习是否能有效泛化到更严格的约束。
- 证明基于准确率要求的课程学习可在连续动作空间中实现自动化且高效。
提出的方法
- 该方法采用深度确定性策略梯度（DDPG）与通用价值函数近似（UVFA）来处理多目标强化学习任务。
- 将准确率要求（ε ∈ {0.02, 0.03, 0.04, 0.05}）作为动态课程参数，智能体在不同ε值上进行训练。
- 能力进展通过每个ε值下成功概率随时间的变化率来计算，作为学习进展的代理指标。
- 采用主动课程策略，根据当前能力进展采样ε值，对进展更快的ε值赋予更高优先级。
- 采样策略使用基于β参数化的softmax函数，对能力进展进行加权，以在课程选择中平衡探索与利用。
- 基线对比固定随机采样ε值与自适应主动-ε策略的效果。
实验结果
研究问题
- RQ1与固定严格准确率要求相比，对多个随机采样的准确率要求（ε）进行训练是否能提升学习效率？
- RQ2能力进展是否可作为自动生成有效课程的可靠信号，应用于深度强化学习？
- RQ3一种从较易准确率水平开始并逐步过渡到更难水平的自适应课程，是否优于随机采样ε值？
- RQ4在连续控制任务中，从宽松准确率约束中学习在多大程度上能泛化到更严格的约束？
- RQ5基于进展动态调整ε值对最终性能和训练稳定性有何影响？
主要发现
- 随机采样准确率要求（ε）相比仅使用单一严格ε值进行训练，显著提升了学习速度与最终准确率。
- 基于局部能力进展选择ε值的主动-ε策略，在初始学习阶段更快，且最终准确率高于随机采样策略。
- 在低精度任务（如ε = 0.05）上的能力进展初期增长迅速，随后达到峰值并趋于平稳，表明已掌握较简单目标。
- 在约150,000次训练步骤后，智能体开始将注意力转向更高精度任务（如ε = 0.02），这些任务仍表现出可测量的进展，表明课程推进有效。
- 主动-ε策略降低了训练运行间的方差，相较于随机ε采样展现出更高的鲁棒性。
- 基于能力进展生成的课程自然优先选择较简单任务，随后过渡到更难任务，其过程模拟了人类学习的渐进模式，无需人工设计的调度策略。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。