[论文解读] Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning

Lin Ding, Peng Liu+3 more|arXiv (Cornell University)|Aug 17, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种基于梯度的元学习方法，通过使用同方差不确定性动态加权元损失，提升少样本学习的泛化能力和鲁棒性。通过学习任务特定的初始化参数并自适应地分配损失权重，该模型在miniImageNet和tieredImageNet上的准确率比当前最先进方法高出1–2%，且对学习率和查询集变化具有更强的鲁棒性。

ABSTRACT

Model-Agnostic Meta-Learning (MAML) is one of the most successful meta-learning techniques for few-shot learning. It uses gradient descent to learn commonalities between various tasks, enabling the model to learn the meta-initialization of its own parameters to quickly adapt to new tasks using a small amount of labeled training data. A key challenge to few-shot learning is task uncertainty. Although a strong prior can be obtained from meta-learning with a large number of tasks, a precision model of the new task cannot be guaranteed because the volume of the training dataset is normally too small. In this study, first,in the process of choosing initialization parameters, the new method is proposed for task-specific learner adaptively learn to select initialization parameters that minimize the loss of new tasks. Then, we propose two improved methods for the meta-loss part: Method 1 generates weights by comparing meta-loss differences to improve the accuracy when there are few classes, and Method 2 introduces the homoscedastic uncertainty of each task to weigh multiple losses based on the original gradient descent,as a way to enhance the generalization ability to novel classes while ensuring accuracy improvement. Compared with previous gradient-based meta-learning methods, our model achieves better performance in regression tasks and few-shot classification and improves the robustness of the model to the learning rate and query sets in the meta-test set.

研究动机与目标

• 为解决少样本学习中的任务不确定性问题，即尽管进行了元学习，小样本训练集仍导致泛化性能差。
• 通过基于任务特定不确定性的动态损失加权，提升元学习的鲁棒性。
• 提升模型在少样本分类和回归任务中的泛化能力和性能。
• 降低元测试过程中对学习率和查询集大小等超参数的敏感性。
• 开发一种可自动学习最优损失权重的方法，避免人工调参。

提出的方法

• 引入一种任务特定学习器，通过选择最小化新任务损失的初始化参数，提升对任务特定特征的适应能力。
• 提出一种权重生成器，基于不同任务间元损失的差异计算损失权重，以优先关注信息量更高的任务。
• 引入同方差不确定性作为可学习的、与任务相关的多损失加权机制，用于元损失优化。
• 使用基于不确定性的损失加权进行梯度下降，以在元训练过程中提升泛化能力。
• 采用元损失函数，其中不确定度估计作为自适应权重，平衡不同任务的贡献。
• 联合优化初始化参数和不确定度估计，实现动态损失平衡。

实验结果

研究问题

• RQ1 基于元损失差异的动态损失加权是否能提升少样本分类性能？
• RQ2 同方差不确定性是否可有效用于基于梯度的元学习中跨任务的损失平衡？
• RQ3 基于不确定性的损失加权是否能提升对学习率和查询集大小变化的鲁棒性？
• RQ4 与MAML相比，所提方法在少样本基准测试中的准确率和泛化能力如何？
• RQ5 任务特定初始化选择是否能增强模型对数据有限新任务的适应能力？

主要发现

• 所提方法结合同方差不确定性，在miniImageNet和tieredImageNet上的少样本分类任务中，准确率比当前最先进方法高出1–2%。
• 当任务数为四个或更多时，性能提升最为显著，因为不确定度能更好地捕捉任务间噪声并实现更优的学习平衡。
• 模型对学习率变化更具鲁棒性：在α=10⁻¹时，其损失更低（0.315），而MAML在相同条件下发散。
• 该方法在不同查询集大小（1、5、15）下均保持稳定性能，而MAML的准确率随查询集增大而显著下降。
• 基于元损失差异的权重生成器虽带来性能提升，但不及基于不确定性的方法，后者实现了更优的准确率。
• 模型展现出更优的泛化能力，且对元测试超参数的敏感性降低，提升了实际可用性。