[论文解读] Gradient Agreement as an Optimization Objective for Meta-Learning

Amir Erfan Eshratifar, David Eigen+1 more|arXiv (Cornell University)|Oct 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 4被引用 9

一句话总结

本文提出梯度一致（Gradient Agreement）这一新型元学习优化目标，通过基于梯度对齐程度动态调整任务权重，以提升泛化性能。通过为与平均梯度方向对齐程度更高的任务分配更高权重，该方法在MAML和Reptile的基础上进一步提升了模型性能，在mini-ImageNet和Omniglot基准上取得了最先进结果。

ABSTRACT

This paper presents a novel optimization method for maximizing generalization over tasks in meta-learning. The goal of meta-learning is to learn a model for an agent adapting rapidly when presented with previously unseen tasks. Tasks are sampled from a specific distribution which is assumed to be similar for both seen and unseen tasks. We focus on a family of meta-learning methods learning initial parameters of a base model which can be fine-tuned quickly on a new task, by few gradient steps (MAML). Our approach is based on pushing the parameters of the model to a direction in which tasks have more agreement upon. If the gradients of a task agree with the parameters update vector, then their inner product will be a large positive value. As a result, given a batch of tasks to be optimized for, we associate a positive (negative) weight to the loss function of a task, if the inner product between its gradients and the average of the gradients of all tasks in the batch is a positive (negative) value. Therefore, the degree of the contribution of a task to the parameter updates is controlled by introducing a set of weights on the loss function of the tasks. Our method can be easily integrated with the current meta-learning algorithms for neural networks. Our experiments demonstrate that it yields models with better generalization compared to MAML and Reptile.

研究动机与目标

• 通过解决MAML和Reptile中任务贡献均等加权的局限性，提升元学习中的泛化能力。
• 开发一种优化目标，优先选择其梯度与参数更新总体方向一致的任务。
• 通过利用一批任务间的梯度一致性，实现对未见任务的更快、更鲁棒的适应。
• 通过一阶泰勒近似，为元优化提供理论基础明确的几何解释。
• 在现有方法对比下，展示在少样本分类与回归基准上的优越性能。

提出的方法

• 该方法引入与每个任务梯度和批次中所有任务平均梯度内积成比例的任务特定权重 $ w_i $。
• 权重 $ w_i $ 计算为 $ w_i = \frac{\sum_{j \in \mathrm{T}} (g_i^T g_j)}{\sum_{k \in \mathrm{T}} |\sum_{j \in \mathrm{T}} (g_k^T g_j)|} $，其中 $ g_i $ 为任务 $ i $ 的梯度更新向量。
• 外层更新规则变为 $ \theta \leftarrow \theta - \beta \nabla \sum_i w_i L_{\tau_i}(f_{\theta_i}) $，使梯度方向更一致的任务获得更大影响。
• 该方法通过一阶泰勒近似与二次优化推导得出，权重存在闭式解。
• 该方法兼容MAML与Reptile，可轻松集成至现有元学习框架中。
• 归一化约束 $ \|\mathbf{w}\|_1 = 1 $ 确保任务间权重的稳定与可解释性。

实验结果

研究问题

• RQ1 如何在元学习中动态调整任务贡献，以提升对未见任务的泛化能力？
• RQ2 任务间的梯度对齐能否作为元更新过程中确定单个任务重要性的可靠信号？
• RQ3 基于梯度一致性的加权元优化策略是否优于MAML和Reptile中的均匀加权？
• RQ4 为何将梯度一致性用作元学习优化目标具有理论依据？
• RQ5 所提出方法在mini-ImageNet和Omniglot等标准少样本学习基准上的表现如何？

主要发现

• 在mini-ImageNet上，Gradient Agreement方法在5类1样本基准上达到54.80%的准确率，显著优于Reptile（49.97%）和MAML（48.70%）。
• 在更具挑战性的mini-ImageNet 5类5样本设置中，Gradient Agreement达到73.27%的准确率，超过Reptile（65.99%）和MAML（63.11%）。
• 在Omniglot上，该方法在5类1样本设置中达到98.60%的准确率，在5类5样本设置中达到99.80%，在所有设置中均匹配或超越MAML和Reptile。
• 在1D正弦波回归任务中，该方法将平均L2损失降低至0.08，低于Reptile的0.13，表明在简单回归设置中也具备更优泛化能力。
• 理论分析表明，最优权重与每个任务梯度同平均梯度的内积成正比，为该方法提供了几何解释。
• 该方法通过在元更新中降低异常任务的权重，有效缓解了梯度冲突任务的负面影响。