[论文解读] A Generalized Framework for Population Based Training

Ang Li, Ola Spyra+7 more|arXiv (Cornell University)|Feb 5, 2019

Music and Audio Processing参考文献 16被引用 6

一句话总结

该论文提出了一种黑盒、分布式种群基于训练（PBT）框架，将超参数优化与模型训练解耦，实现了异步、可扩展且可扩展的神经网络权重与超参数联合优化。与以往方法相比，该系统在基于WaveNet的语音合成任务中实现了更优的收敛速度和模型准确率，支持动态超参数调度，并且对基础设施改动极小。

ABSTRACT

Population Based Training (PBT) is a recent approach that jointly optimizes neural network weights and hyperparameters which periodically copies weights of the best performers and mutates hyperparameters during training. Previous PBT implementations have been synchronized glass-box systems. We propose a general, black-box PBT framework that distributes many asynchronous "trials" (a small number of training steps with warm-starting) across a cluster, coordinated by the PBT controller. The black-box design does not make assumptions on model architectures, loss functions or training procedures. Our system supports dynamic hyperparameter schedules to optimize both differentiable and non-differentiable metrics. We apply our system to train a state-of-the-art WaveNet generative model for human voice synthesis. We show that our PBT system achieves better accuracy, less sensitivity and faster convergence compared to existing methods, given the same computational resource.

研究动机与目标

• 为解决传统两阶段神经网络训练（先超参数调优，后模型训练）效率低下且人工成本高的问题。
• 实现在训练过程中对模型权重和超参数进行端到端、自动化的联合优化，减少对人工调参的依赖。
• 设计一种可扩展、可扩展的PBT系统，无需对模型架构、损失函数或训练流程做任何假设。
• 支持对可微和不可微指标的动态超参数调度，提升优化灵活性。
• 在真实世界、高复杂度任务——最先进的WaveNet语音合成中，验证该框架的有效性。

提出的方法

• 将模型训练分解为独立、短时的“试验”（trials），每个试验在有限步数内运行，并从先前的检查点进行热启动。
• 采用集中式PBT控制器，统一管理所有试验，选择表现优异的模型，并通过突变分配新的超参数。
• 采用黑盒设计，工作节点不直接访问其他工作节点的指标，从而支持与多种训练框架的兼容性。
• 支持在集群中异步执行，允许任务抢占与恢复，并支持训练重放和垃圾回收。
• 引入预算模式以限制总计算成本，并支持基于性能反馈的动态超参数调度。
• 依赖基于检查点的热启动机制，实现试验间知识的传递，从而加速收敛。

实验结果

研究问题

• RQ1 黑盒、分布式PBT框架是否能在大规模深度学习中实现比现有超参数调优方法更优的收敛性和准确率？
• RQ2 所提出的PBT系统如何在可扩展、异步且容错的条件下处理模型训练与超参数优化？
• RQ3 在复杂模型（如WaveNet）中，从先前试验检查点进行热启动在多大程度上提升了训练效率与性能？
• RQ4 该系统是否能有效优化不可微指标，并支持动态超参数调度？
• RQ5 该系统的设计在多大程度上减少了基础设施开销，同时在真实应用中保持高性能？

主要发现

• 所提出的PBT系统在最先进的用于人声合成的WaveNet模型上，实现了比现有超参数调优方法更优的准确率和更快的收敛速度。
• 即使在相同的计算预算下，系统也表现出更优的性能，表明资源利用效率更高。
• 黑盒、异步设计使得系统在集群中实现了有效的横向扩展，并支持从抢占或故障中恢复。
• 与随机或静态超参数调度相比，从高性能试验中进行热启动显著加速了收敛过程。
• 该框架成功优化了动态超参数调度，包括对不可微指标的优化，这在传统方法中极具挑战性。
• 系统设计使得与现有训练流水线集成时仅需极少的基础设施改动，显著提升了实际部署的可行性。