[论文解读] Data Augmentation for Meta-Learning

Renkun Ni, Micah Goldblum+3 more|arXiv (Cornell University)|Oct 14, 2020

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

本文提出了一种元特定的数据增强技术，将图像级增强和类别级增强整合到元学习流程中，以提升少样本分类性能。通过在支持集和查询集采样过程中有策略地应用增强，该方法在标准基准测试上显著提升了元学习器的准确率，表明增强不仅是数据扩展工具，更是实现任务和类别多样性的关键组件。

ABSTRACT

Conventional image classifiers are trained by randomly sampling mini-batches of images. To achieve state-of-the-art performance, practitioners use sophisticated data augmentation schemes to expand the amount of training data available for sampling. In contrast, meta-learning algorithms sample support data, query data, and tasks on each training step. In this complex sampling scenario, data augmentation can be used not only to expand the number of images available per class, but also to generate entirely new classes/tasks. We systematically dissect the meta-learning pipeline and investigate the distinct ways in which data augmentation can be integrated at both the image and class levels. Our proposed meta-specific data augmentation significantly improves the performance of meta-learners on few-shot classification benchmarks.

研究动机与目标

• 通过增强手段扩展有效训练数据，以解决元学习中支持集有限且缺乏多样性的问题。
• 研究如何系统性地将数据增强整合到元学习训练流程的图像和类别两个层面。
• 通过使用增强数据生成多样化任务和支撑集，提升少样本分类性能。
• 建立一个有原则的框架，用于在元学习中应用数据增强，超越传统的图像级增强。

提出的方法

• 该方法在每个元训练步骤中对支持集和查询集图像应用图像级增强，以提升数据多样性。
• 通过使用现有类别的增强版本生成新的合成类别，实现类别级增强，以扩展任务分布。
• 该方法在每个训练周期内动态采样增强图像和合成类别，保持与元学习的周期性训练范式一致。
• 选择性地将增强策略应用于支持集和查询集，通过超参数调优以平衡多样性与任务真实性。
• 该框架支持多种增强策略（例如，随机裁剪、颜色抖动、Mixup），并针对元学习场景进行适配。
• 该方法在标准少样本分类元学习设置中进行评估，使用 miniImageNet 和 tieredImageNet 等标准基准。

实验结果

研究问题

• RQ1 在少样本分类中，图像级增强的整合如何影响元学习器的泛化能力？
• RQ2 类别级增强能否生成有意义且多样的任务，从而提升元学习器性能？
• RQ3 在元学习的周期性训练循环中，应用数据增强的最佳方式是什么？
• RQ4 元特定增强与常规训练中使用的标准数据增强相比有何差异？

主要发现

• 所提出的元特定数据增强在 miniImageNet 和 tieredImageNet 基准测试中显著提升了少样本分类准确率。
• 类别级增强带来的性能提升优于仅使用图像级增强，表明任务多样性至关重要。
• 通过有效扩展数据空间和任务空间，该方法在标准少样本学习基准上取得了最先进性能。
• 在元训练过程中有策略地应用增强，相比标准增强方式，能训练出更鲁棒且泛化能力更强的模型。