[论文解读] Generalized Inner Loop Meta-Learning

Edward Grefenstette, Brandon Amos+7 more|arXiv (Cornell University)|Oct 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用 88

一句话总结

论文将广义内循环元学习形式化为 Gimli，推导出通用算法，并发布一个 PyTorch 库 higher，以在各种模型和优化器上实现此类嵌套优化。

ABSTRACT

Many (but not all) approaches self-qualifying as "meta-learning" in deep learning and reinforcement learning fit a common pattern of approximating the solution to a nested optimization problem. In this paper, we give a formalization of this shared pattern, which we call GIMLI, prove its general requirements, and derive a general-purpose algorithm for implementing similar approaches. Based on this analysis and algorithm, we describe a library of our design, higher, which we share with the community to assist and enable future research into these kinds of meta-learning approaches. We end the paper by showcasing the practical applications of this framework and library through illustrative experiments and ablation studies which they facilitate.

研究动机与目标

• 将元学习中的嵌套内外循环优化的共同模式形式化，并命名为 Gimli。
• 推导出一个通用算法，使 Gimli 兼容方法的精确、高效实现成为可能。
• 开发并发布一个 PyTorch 库 (higher)，以便于 Gimli 基元学习方法的简便实现和实验。
• 通过示例性实验和消融研究，展示框架和库所开启的研究方向的实际适用性。

提出的方法

• 定义一个嵌套优化框架，外层的一组元参数控制模型参数的内循环优化。
• 推导出梯度基元学习可行的条件，以及如何通过内循环反向传播（Gimli 2.4, 2.5）。
• 给出一个精确的 Gimli 更新算法，展开内循环并通过停止梯度构造反向传播高阶梯度（Algorithm 1）。
• 介绍并描述 higher 库，使 PyTorch 中的有状态模块和可微分优化器在 Gimli 下可行（猴子补丁、可微分优化器）。
• 给出示例并讨论相关工作，以说明 Gimli 兼容的元学习变体，如超参数学习和 MAML 风格的初始化。

实验结果

研究问题

• RQ1 如何通过一个统一的形式化框架捕捉多样的嵌套优化元学习方法？
• RQ2 启用 Gimli 风格元训练的确切梯度基要求是什么？
• RQ3 如何实现一个通用、高效的 Gimli 更新，使其对模型和优化器的选择无关？
• RQ4 是否能够构建一个实用库，使研究人员只需最少的代码变更即可实现 Gimli 兼容的元学习？

主要发现

• Gimli 将若干最近的元学习方法纳入一个统一的形式框架之下。
• 一个通用、精确的算法（Algorithm 1）使通过内循环进行可微分、可反向传播的元训练成为可能。
• higher 库使在 PyTorch 中以最少的非常规代码变更实现 Gimli 兼容方法成为可能。
• 该框架支持关于元学习组件如学习率与损失参数化的消融研究与实验。
• 论文讨论了微分优化和有状态模块处理的实际考虑，以促进嵌套优化研究。