[论文解读] Fast Efficient Hyperparameter Tuning for Policy Gradients

Supratik Paul, Vitaly Kurin+1 more|arXiv (Cornell University)|Feb 18, 2019

Machine Learning and Data Classification参考文献 51被引用 14

一句话总结

本文提出了一种在训练过程中动态调整关键策略梯度超参数（如学习率和GAE参数）的高效样本与计算方法——运行时超参数优化（HOOF），该方法利用离策略重要性采样在单次训练运行中完成优化。HOOF在性能上优于网格搜索和固定超参数基线方法，仅通过一次环境交互即可实现更快的学习速度和更优的性能表现。

ABSTRACT

The performance of policy gradient methods is sensitive to hyperparameter settings that must be tuned for any new application. Widely used grid search methods for tuning hyperparameters are sample inefficient and computationally expensive. More advanced methods like Population Based Training that learn optimal schedules for hyperparameters instead of fixed settings can yield better results, but are also sample inefficient and computationally expensive. In this paper, we propose Hyperparameter Optimisation on the Fly (HOOF), a gradient-free algorithm that requires no more than one training run to automatically adapt the hyperparameter that affect the policy update directly through the gradient. The main idea is to use existing trajectories sampled by the policy gradient method to optimise a one-step improvement objective, yielding a sample and computationally efficient algorithm that is easy to implement. Our experimental results across multiple domains and algorithms show that using HOOF to learn these hyperparameter schedules leads to faster learning with improved performance.

研究动机与目标

• 解决现有强化学习超参数调优方法在样本和计算成本方面过高的问题。
• 开发一种能够学习动态超参数调度而非固定值的方法，以应对非平稳强化学习环境中固定值通常表现不佳的问题。
• 仅使用单次训练运行的数据实现有效的超参数优化，避免多次环境交互的需求。
• 在行为策略与评估策略差异较大时，确保离策略值估计的稳定性和可靠性，尤其针对高方差问题。
• 证明在一阶策略梯度方法中，仅使用简单的KL约束即可稳定重要性采样估计，从而无需依赖复杂的二阶方法。

提出的方法

• HOOF利用策略梯度方法已有的轨迹数据，生成采用不同超参数设置（如学习率、γ、λ）的候选策略。
• 通过加权重要性采样（WIS）实施离策略评估，利用当前策略收集的相同数据估计每个候选策略的回报。
• 该方法贪婪地将策略更新为估计回报最高的候选策略，从而实现动态超参数调度的学习。
• 施加KL散度约束以限制策略更新，确保重要性采样估计的稳定性和信息量。
• 该算法在单次训练运行中运行，重用所有环境交互数据，除标准策略梯度超参数外无需额外超参数。
• 该方法具有通用性，可应用于多种策略梯度算法，包括A2C、TNPG和TRPO。

实验结果

研究问题

• RQ1 是否可以在不增加额外环境交互的前提下，仅通过单次训练运行高效完成超参数调优？
• RQ2 是否仅通过一个简单的KL约束即可在一阶策略梯度方法中稳定离策略重要性采样？
• RQ3 动态调整学习率和GAE参数等超参数是否能带来比固定设置更快的学习速度和更优的性能表现？
• RQ4 在样本效率和最终性能方面，HOOF与网格搜索及其他超参数优化基线方法相比表现如何？
• RQ5 所提出方法对底层优化器（如RMSProp与SGD）的变化是否具有鲁棒性？

主要发现

• HOOF在相同训练运行次数下性能优于网格搜索，需超过10倍的样本量才能达到HOOF的性能水平。
• 在HalfCheetah、Hopper、Ant和Walker等环境中，HOOF显著优于固定超参数基线方法（如A2C和TRPO）。
• 在TNPG设置下，HOOF-TNPG学习速度更快，并在所有测试环境中达到或超过使用默认超参数的TRPO性能。
• HOOF学习到的超参数（如δ、γ和λ）在不同环境中表现出显著差异，表明动态自适应的必要性，而非使用固定值。
• KL约束对于稳定重要性采样估计至关重要；若无此约束，WIS估计将不可靠，导致学习失败。
• 即使使用SGD而非RMSProp，HOOF仍保持有效性，表明其对优化器选择具有鲁棒性；相比之下，基线A2C在SGD下无法学习。