[论文解读] Improving Generalization in Meta-learning via Task Augmentation

Huaxiu Yao, Long-Kai Huang+6 more|arXiv (Cornell University)|Jul 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 12

一句话总结

该论文提出了MetaMix和Channel Shuffle——两种任务增强方法，通过在元训练过程中注入合成数据，提升基于梯度的元学习中的元泛化能力。通过线性插值特征和标签（MetaMix）或在不同类别间混洗通道（Channel Shuffle），这些方法增强了模型的鲁棒性，在多个少样本学习基准上实现了最先进性能，且相对于SOTA基线持续取得显著提升。

ABSTRACT

Meta-learning has proven to be a powerful paradigm for transferring the knowledge from previous tasks to facilitate the learning of a novel task. Current dominant algorithms train a well-generalized model initialization which is adapted to each task via the support set. The crux lies in optimizing the generalization capability of the initialization, which is measured by the performance of the adapted model on the query set of each task. Unfortunately, this generalization measure, evidenced by empirical results, pushes the initialization to overfit the meta-training tasks, which significantly impairs the generalization and adaptation to novel tasks. To address this issue, we actively augment a meta-training task with "more data" when evaluating the generalization. Concretely, we propose two task augmentation methods, including MetaMix and Channel Shuffle. MetaMix linearly combines features and labels of samples from both the support and query sets. For each class of samples, Channel Shuffle randomly replaces a subset of their channels with the corresponding ones from a different class. Theoretical studies show how task augmentation improves the generalization of meta-learning. Moreover, both MetaMix and Channel Shuffle outperform state-of-the-art results by a large margin across many datasets and are compatible with existing meta-learning algorithms.

研究动机与目标

• 为解决元学习中的过拟合问题，特别是记忆化和学习器过拟合，这些现象会损害在新任务上的泛化能力。
• 通过在元训练任务中主动引入合成数据，提升模型初始化的泛化能力。
• 开发数据增强策略，增强对支持集的依赖性，并注入有意义的归纳偏置，同时不限制适应的灵活性。
• 提供理论基础坚实、兼容性强且高效的增强方法，可直接应用于现有元学习框架。

提出的方法

• MetaMix在支持集和查询集样本的特征与标签之间执行线性插值，生成用于元训练的增强样本。
• Channel Shuffle将样本中随机选择的一组通道替换为来自不同类别的对应通道，引入跨类特征混合。
• MMCF联合方法先应用MetaMix，再应用Channel Shuffle，提升特征多样性并增强模型鲁棒性。
• 这些方法可无缝集成到MAML、HSML和ARML等现有元学习算法中，无需修改网络架构。
• 对超参数（如混合比例λ以及Beta分布参数α、β）进行了分析，以评估其鲁棒性与最优性能。
• 理论分析表明，任务增强通过增加初始化的归纳偏置，减少过拟合，从而提升泛化能力。

实验结果

研究问题

• RQ1 在元训练期间主动进行任务增强，能否有效减少元学习中的记忆化和学习器过拟合？
• RQ2 通过特征与标签混合注入合成数据，如何提升模型初始化的泛化能力？
• RQ3 在少样本学习中，通道级别的数据增强对元泛化能力有何影响？
• RQ4 MetaMix和Channel Shuffle对超参数选择（如混合比例和Beta分布参数）的鲁棒性如何？
• RQ5 这些增强策略能否在不修改网络架构的前提下，普遍适用于现有元学习算法？

主要发现

• 在MiniImageNet的5-way 1-shot设置下，MMCF达到53.17%的准确率，优于次佳方法（ARML）2.34个百分点。
• 在同一基准下，ARML-MMCF在5-way 1-shot设置中达到38.70%的准确率，较原始ARML提升10.03个百分点。
• 在5-way 5-shot设置下，ARML-MMCF在MiniImageNet上达到73.30%的准确率，超过最佳基线（ARML）8.99个百分点。
• 所提方法在所有数据集（包括Omniglot、Aircraft和Fungi）上均持续提升性能，尤其在低样本设置下表现显著。
• 超参数分析显示，α和λ的不同取值下性能均保持稳定，即使在偏斜的Beta分布下也表现稳健。
• 即使在互斥设置（旨在减少过拟合）下，MMCF仍优于标准MAML，证实其泛化优势。