[论文解读] Adapting Behaviour for Learning Progress

Tom Schaul, Diana Borsa+5 more|arXiv (Cornell University)|Dec 14, 2019

Advanced Bandit Algorithms Research参考文献 41被引用 8

一句话总结

本文提出了一种方法，通过使用非平稳多臂老虎机动态选择策略调制（如随机性、乐观性或一致性）来自主适应智能体在强化学习过程中的探索行为，调制依据是学习进度的代理指标。该方法以极低的成本实现了与任务特定超参数调优相当的性能，无需人工干预或额外的训练运行。

ABSTRACT

Determining what experience to generate to best facilitate learning (i.e. exploration) is one of the distinguishing features and open challenges in reinforcement learning. The advent of distributed agents that interact with parallel instances of the environment has enabled larger scales and greater flexibility, but has not removed the need to tune exploration to the task, because the ideal data for the learning algorithm necessarily depends on its process of learning. We propose to dynamically adapt the data generation by using a non-stationary multi-armed bandit to optimize a proxy of the learning progress. The data distribution is controlled by modulating multiple parameters of the policy (such as stochasticity, consistency or optimism) without significant overhead. The adaptation speed of the bandit can be increased by exploiting the factored modulation structure. We demonstrate on a suite of Atari 2600 games how this unified approach produces results comparable to per-task tuning at a fraction of the cost.

研究动机与目标

• 通过实现探索行为的自动适应，减少强化学习中对人工超参数调优的依赖。
• 通过动态选择能最大化学习进度的策略调制，提升样本效率。
• 开发一种可扩展、低开销的行为适应机制，适用于分布式强化学习智能体。
• 证明统一的自适应方法可在多种Atari 2600环境中实现与逐任务调优相当或更优的性能。

提出的方法

• 该方法使用非平稳多臂老虎机在多种行为调制（如温度、ε-贪婪、每动作偏差）之间进行选择，以改变策略的探索行为。
• 每种调制在每个episode中仅应用一次，并在整个episode中保持不变，以确保经验收集期间行为变化的一致性。
• 基于分位数基值函数近似的变化，为每种调制 $ z $ 估计学习进度的代理指标 $ f(z) $。
• 老虎机采用因子分解结构以加速适应，实现对调制空间的高效探索。
• 智能体的策略通过基于分位数的分布式强化学习算法进行更新，行为策略通过学习参数 $ \theta $ 和调制向量 $ z $ 进行调制。
• 系统在训练过程中在线运行，持续适应调制以最大化估计的学习进度代理指标。

实验结果

研究问题

• RQ1 统一的、自适应的行为调制方法是否能在强化学习中实现与逐任务超参数调优相当的性能？
• RQ2 非平稳多臂老虎机在多大程度上能有效优化探索行为，使其与智能体的学习进度保持同步？
• RQ3 动态调整如随机性和乐观性等策略调制是否能提升多种环境下的样本效率？
• RQ4 该方法在在多大程度上减少了对人工调优的需求，同时保持或提升学习性能？

主要发现

• 所提出的方法在一系列Atari 2600游戏上实现了与逐任务调优超参数相当的性能，且无需人工调优。
• 基于老虎机的调制自适应显著提升了样本效率，通过将经验生成聚焦于支持当前学习阶段的数据。
• 该方法减少了对大规模超参数搜索的需求，因为它在训练过程中自主选择最优的行为调制。
• 因子分解老虎机结构的使用实现了对学习动态变化的快速适应，提升了对学习进度变化的响应能力。
• 该方法优于固定调制基线，并在实验中匹配或超越了最佳固定调制配置的性能。
• 该方法计算高效且可扩展，开销极低，适用于大规模分布式强化学习训练。