[论文解读] AutoLoss: Learning Discrete Schedules for Alternate Optimization.

Haowen Xu, Hao Zhang+4 more|arXiv (Cornell University)|Sep 27, 2018

Neural Networks and Applications被引用 11

一句话总结

AutoLoss 是一种元学习框架，可自动学习机器学习中交替目标优化的离散优化调度。通过将调度建模为基于元数据的、数据驱动的动态策略，它在 GAN 训练、神经机器翻译（NMT）、多层感知机（MLP）分类和二次回归等多种任务中提升了收敛质量，并具备向新模型和数据集泛化的能力。

ABSTRACT

Many machine learning problems involve iteratively and alternately optimizing different task objectives with respect to different sets of parameters. Appropriately scheduling the optimization of a task objective or a set of parameters is usually crucial to the quality of convergence. In this paper, we present AutoLoss, a meta-learning framework that automatically learns and determines the optimization schedule. AutoLoss provides a generic way to represent and learn the discrete optimization schedule from metadata, allows for a dynamic and data-driven schedule in ML problems that involve alternating updates of different parameters or from different loss objectives. We apply AutoLoss on four ML tasks: d-ary quadratic regression, classification using a multi-layer perceptron (MLP), image generation using GANs, and multi-task neural machine translation (NMT). We show that the AutoLoss controller is able to capture the distribution of better optimization schedules that result in higher quality of convergence on all four tasks. The trained AutoLoss controller is generalizable -- it can guide and improve the learning of a new task model with different specifications, or on different datasets.

研究动机与目标

• 解决在交替目标学习场景中手动设计有效优化调度的挑战。
• 开发一种通用的、数据驱动的方法，用于学习可提升机器学习收敛质量的离散调度。
• 实现所学调度在不同模型、架构和数据集之间的泛化。
• 自动化多目标或多参数训练设置中的损失优化调度。
• 提供一种可扩展且自适应的框架，用于优化具有交替更新的复杂机器学习流水线。

提出的方法

• AutoLoss 使用元学习训练一个控制器，该控制器基于模型架构、数据统计和训练进度等输入元数据，预测离散优化调度。
• 它将优化调度表示为通过可微策略网络学习的损失或参数更新的离散序列。
• 该框架采用基于强化学习的训练目标，以最大化最终模型性能，调度决策在每个训练步骤中做出。
• 控制器在任务和配置的分布上进行训练，使其能够泛化到新的、未见过的模型和数据集。
• 它根据先前训练运行中学习到的模式，动态选择在每个步骤中优化哪个损失或参数集。
• 该方法支持通过基于梯度的优化对调度策略进行端到端训练，即使调度本身是离散的。

实验结果

研究问题

• RQ1 所学习的、数据驱动的优化调度是否能在交替优化问题中优于手工设计或固定调度？
• RQ2 AutoLoss 控制器在不同模型架构和数据集之间泛化的程度如何？
• RQ3 AutoLoss 在提升多样化机器学习任务中的收敛质量方面有多有效？
• RQ4 控制器是否仅基于元数据即可适应新任务而无需重新训练？
• RQ5 调度多样性与分布学习对最终模型性能有何影响？

主要发现

• AutoLoss 有效学习了可在四种不同机器学习任务中实现更高质量收敛的优化调度。
• 训练后的控制器无需重新训练即可有效泛化到具有不同架构和数据集的新模型。
• 该框架通过学习随训练进度动态调整的数据驱动调度，提升了收敛质量。
• 控制器捕捉了高性能调度的分布，从而在各种设置中实现一致的性能提升。
• AutoLoss 在交替优化中表现出鲁棒性和适应性，包括在 GAN 训练和多任务 NMT 等复杂任务中。
• 在所有评估任务中，该方法相较于固定或启发式调度策略均取得了更优结果。