[论文解读] EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization

Ondrej Bohdal, Yongxin Yang+1 more|arXiv (Cornell University)|Jun 19, 2021

Machine Learning and Data Classification被引用 10

一句话总结

EvoGrad 提出了一种新颖且高效的基于梯度的元学习与超参数优化方法，通过使用假设的内层循环进化更新来估计超梯度，避免了二阶导数和长计算图的计算。该方法显著提升了训练速度并节省了内存，使元学习能够扩展到更大模型（如在有限硬件上的 ResNet34），且性能达到或超过标准的二阶方法。

ABSTRACT

Gradient-based meta-learning and hyperparameter optimization have seen significant progress recently, enabling practical end-to-end training of neural networks together with many hyperparameters. Nevertheless, existing approaches are relatively expensive as they need to compute second-order derivatives and store a longer computational graph. This cost prevents scaling them to larger network architectures. We present EvoGrad, a new approach to meta-learning that draws upon evolutionary techniques to more efficiently compute hypergradients. EvoGrad estimates hypergradient with respect to hyperparameters without calculating second-order gradients, or storing a longer computational graph, leading to significant improvements in efficiency. We evaluate EvoGrad on three substantial recent meta-learning applications, namely cross-domain few-shot learning with feature-wise transformations, noisy label learning with Meta-Weight-Net and low-resource cross-lingual learning with meta representation transformation. The results show that EvoGrad significantly improves efficiency and enables scaling meta-learning to bigger architectures such as from ResNet10 to ResNet34.

研究动机与目标

• 解决现有基于梯度的元学习方法依赖二阶导数和长计算图所导致的高计算与内存开销问题。
• 实现在标准显存有限的 GPU 硬件上（如 12GB）将元学习扩展至更大神经网络架构（如 ResNet34）的目标。
• 开发一种仅使用一阶梯度高效计算超梯度的方法，避免对完整训练过程进行反向模式微分。
• 在多种元学习应用中（包括少样本学习、噪声标签修正与跨语言学习）验证该方法的有效性。
• 提供一种通用、轻量级的元优化器，兼具实现简单与实际应用中的高效性。

提出的方法

• EvoGrad 通过在内层循环中模拟一个假设的进化更新来估计超梯度，从而避免计算二阶导数。
• 该方法仅使用一阶梯度进行超参数更新，消除了对存储长计算图的需求，降低了内存开销。
• 实际的内层模型更新通过标准梯度下降完成，而超梯度估计则被解耦并使用随机进化近似方法计算。
• 该方法利用了进化更新无梯度的特性，使超梯度计算保持一阶且高效。
• 该方法具有通用性，可应用于多种元学习框架，包括逐特征变换、Meta-Weight-Net 和 MetaXL。
• 该算法设计为可并行化，进化步骤中的候选模型可轻松分布到多个设备上，以扩展种群规模。

实验结果

研究问题

• RQ1 能否设计一种基于梯度的元学习方法，避免使用二阶导数，同时仍保持具有竞争力的性能？
• RQ2 所提出的方法是否能在显存受限（如 12GB）的 GPU 上成功扩展至 ResNet34 等大模型？
• RQ3 超梯度的进化近似是否能在实际中产生稳定且准确的超参数更新？
• RQ4 EvoGrad 的计算与内存开销与标准二阶方法（如 $T_1-T_2$）相比，在不同模型规模下如何？
• RQ5 EvoGrad 是否能有效应用于计算机视觉之外的多种元学习任务，如低资源跨语言 NLP 任务？

主要发现

• EvoGrad 实现了在仅 12GB 显存的 GPU 上训练 ResNet34 的元学习模型，而标准的 $T_1-T_2$ 方法因内存限制而失败。
• 在 Meta-Weight-Net 基准测试中，EvoGrad 显著降低了训练时间和内存使用，且随着模型规模增大，效率差距进一步扩大。
• 在用于跨域少样本学习的 LFT 模型中，EvoGrad 达到了与 $T_1-T_2$ 相当的准确率，但时间与内存成本大幅降低。
• 在低资源跨语言学习中的 MetaXL 模型中，EvoGrad 在所有目标语言上的表现均匹配或超越 $T_1-T_2$ 基线，平均 F1 得分为 71.98%。
• 当超参数数量从 300 增加到 30,000 时，EvoGrad 的内存与时间开销几乎保持不变，因为主要成本来自模型参数而非超参数。
• 该方法在所有评估任务中均表现出一致的效率提升，尤其在大模型中收益最大，验证了其良好的可扩展性。