[论文解读] HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks

M. Przewięźlikowski, Przemysław Przybysz+3 more|arXiv (Cornell University)|May 31, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

HyperMAML 提出了一种新颖的少样本学习框架，用可训练的超网络替代 MAML 中基于梯度的权重更新，实现在单步内进行显著的、非基于梯度的参数更新。该方法在标准基准上实现了优于 MAML 的准确率和最先进的性能，同时降低了计算成本，并通过消除适应过程中的反向传播提高了生物合理性。

ABSTRACT

The aim of Few-Shot learning methods is to train models which can easily adapt to previously unseen tasks, based on small amounts of data. One of the most popular and elegant Few-Shot learning approaches is Model-Agnostic Meta-Learning (MAML). The main idea behind this method is to learn the general weights of the meta-model, which are further adapted to specific problems in a small number of gradient steps. However, the model's main limitation lies in the fact that the update procedure is realized by gradient-based optimisation. In consequence, MAML cannot always modify weights to the essential level in one or even a few gradient iterations. On the other hand, using many gradient steps results in a complex and time-consuming optimization procedure, which is hard to train in practice, and may lead to overfitting. In this paper, we propose HyperMAML, a novel generalization of MAML, where the training of the update procedure is also part of the model. Namely, in HyperMAML, instead of updating the weights with gradient descent, we use for this purpose a trainable Hypernetwork. Consequently, in this framework, the model can generate significant updates whose range is not limited to a fixed number of gradient steps. Experiments show that HyperMAML consistently outperforms MAML and performs comparably to other state-of-the-art techniques in a number of standard Few-Shot learning benchmarks.

研究动机与目标

• 解决 MAML 在少样本学习中基于梯度的内层优化所导致的生物不合理性与计算低效性。
• 减少与 MAML 内层优化相关的超参数数量和训练复杂度。
• 在不依赖迭代梯度下降的情况下，实现更有效的权重更新以适应少样本学习。
• 开发一种元学习框架，可在极少数据下更好地泛化于多样化的少样本任务。
• 通过消除推理过程中多次梯度步骤的需求，提升计算效率。

提出的方法

• HyperMAML 用可学习的超网络替代 MAML 中的标准梯度更新，该超网络从支持集生成特定任务的权重更新。
• 超网络通过端到端训练，将支持集输入映射为有效的参数更新，推理过程中绕过反向传播。
• 主模型的权重每轮任务仅更新一次，使用超网络的输出，从而无需多次内层优化步骤。
• 通过元优化训练超网络，使用元损失函数评估单次更新后在查询集上的性能。
• 该方法避免二阶优化，因无需对更新权重计算梯度，从而简化了训练过程。
• 该框架保持模型无关性，可应用于任意神经网络架构。

实验结果

研究问题

• RQ1 基于超网络的更新机制是否能在少样本元学习中优于基于梯度的更新？
• RQ2 用单次可学习更新替代迭代梯度下降，是否能提升少样本设置下的泛化能力与准确率？
• RQ3 与 MAML 相比，基于超网络的方法是否能降低计算成本与超参数敏感性？
• RQ4 在存在分布偏移的跨域少样本适应场景下，该方法表现如何？
• RQ5 与基于梯度的优化相比，基于超网络的更新是否更具生物合理性？

主要发现

• 在 Omniglot → EMNIST 1-shot 分类基准上，HyperMAML 达到 80.78% 的准确率，优于 MAML 的 74.81%，并接近最先进方法 HyperShot+微调的 80.65%。
• 在 5-shot Omniglot → EMNIST 任务中，HyperMAML 达到 89.22% 的准确率，与 HyperShot（90.81%）和 DKT（90.30%）相当。
• 在具有挑战性的 mini-ImageNet → CUB 跨域设置中，HyperMAML 表现与 MAML、ProtoNet 和 Matching Networks 相当，尤其在 1-shot 设置下表现突出。
• HyperMAML 在 8.21 秒内处理完整个 Omniglot → EMNIST 测试集，速度与仅使用 2 步梯度的 MAML 相当，尽管其准确率显著更高。
• 即使使用 100 步梯度，MAML 的准确率也未能达到 HyperMAML 的水平（74.86% vs. 80.78%），证明了超网络更新机制的优越性。
• 该方法通过消除对内层学习率和步数搜索的需求，显著降低了超参数调优的复杂度。