[论文解读] A Reweighted Meta Learning Framework for Robust Few Shot Learning.

Krishnateja Killamsetty, Changbin Li+3 more|arXiv (Cornell University)|Nov 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 5

一句话总结

本文提出RW-MAML，一种重新加权的元学习框架，通过为实例/任务动态分配自适应权重，提升少样本学习中的鲁棒性。通过采用双双重优化机制，根据验证任务动态调整权重，RW-MAML在分布外和标签噪声场景下均优于当前最先进方法，展现出更强的泛化能力以及对域偏移和标签污染的鲁棒性。

ABSTRACT

Model-Agnostic Meta-Learning (MAML) is a popular gradient-based meta-learning framework that tries to find an optimal initialization to minimize the expected loss across all tasks during meta-training. However, it inherently assumes that the contribution of each instance/task to the meta-learner is equal. Therefore, it fails to address the problem of domain differences between base and novel classes in few-shot learning. In this work, we propose a novel and robust meta-learning algorithm, called RW-MAML, which learns to assign weights to training instances or tasks. We consider these weights to be hyper-parameters. Hence, we iteratively optimize the weights using a small set of validation tasks and an online approximation in a \emph{bi-bi-level} optimization framework, in contrast to the standard bi-level optimization in MAML. Therefore, we investigate a practical evaluation setting to demonstrate the scalability of our RW-MAML in two scenarios: (1) out-of-distribution tasks and (2) noisy labels in the meta-training stage. Extensive experiments on synthetic and real-world datasets demonstrate that our framework efficiently mitigates the effects of unwanted instances, showing that our proposed technique significantly outperforms state-of-the-art robust meta-learning methods.

研究动机与目标

• 解决MAML在假设所有实例/任务贡献相等时的局限性，该假设在基础类与新类之间存在域偏移时会失效。
• 在元训练过程中应对两种实际挑战（分布外任务和标签噪声）时，提升少样本学习的鲁棒性。
• 开发一种可扩展且实用的框架，通过迭代优化学习实例/任务权重作为超参数。
• 通过基于验证性能动态重加权训练实例，实现对分布偏移和标签噪声的有效适应。

提出的方法

• 提出一种双双重优化框架，其中实例/任务权重作为超参数学习，与标准MAML的双重结构不同。
• 使用在线近似方法，在元训练过程中利用少量验证任务高效更新权重。
• 将实例/任务权重视为可学习参数，基于验证性能通过梯度更新进行优化。
• 引入一种重加权机制，在元优化过程中降低异常或噪声实例的影响。
• 在保持模型无关性的同时，实现动态、数据依赖的加权，以提升泛化能力。
• 在分布内和分布外设置下应用该框架，以评估其鲁棒性和可扩展性。

实验结果

研究问题

• RQ1 自适应实例/任务加权是否能提升元学习器在基础类与新类之间存在分布偏移时的鲁棒性？
• RQ2 与标准MAML及其他鲁棒元学习方法相比，RW-MAML在元训练过程中存在标签噪声时表现如何？
• RQ3 双双重优化框架是否能有效扩展至验证数据有限的真实少样本学习场景？
• RQ4 重加权在多大程度上能缓解元测试期间分布外任务的负面影响？

主要发现

• 在分布外任务设置下，RW-MAML在合成数据集和真实世界数据集上均显著优于当前最先进鲁棒元学习方法。
• 该框架能有效缓解元训练期间标签噪声的负面影响，提升对新任务的泛化能力。
• 双双重优化机制实现了高效且可扩展的权重学习，在验证数据有限时仍能保持性能。
• 自适应重加权降低了问题实例的影响，从而实现更稳定和鲁棒的元优化。
• 实证结果证实，RW-MAML在多个基准测试中均实现了更高的准确率和更优的泛化性能，优于MAML及其他SOTA基线方法。
• 该方法在域偏移方面表现出强韧性，尤其在数据稀缺的少样本场景中表现突出。