[论文解读] Meta-Learning Requires Meta-Augmentation

Janarthanan Rajendran, Alex Irpan+1 more|arXiv (Cornell University)|Jul 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 37

一句话总结

该论文提出元增强（meta-augmentation），一个信息论框架，在标签上增加随机性（非输入）以对抗元学习中的记忆化和学习者过拟合，在少样本基准上取得显著提升。

ABSTRACT

Meta-learning algorithms aim to learn two components: a model that predicts targets for a task, and a base learner that quickly updates that model when given examples from a new task. This additional level of learning can be powerful, but it also creates another potential source for overfitting, since we can now overfit in either the model or the base learner. We describe both of these forms of metalearning overfitting, and demonstrate that they appear experimentally in common meta-learning benchmarks. We then use an information-theoretic framework to discuss meta-augmentation, a way to add randomness that discourages the base learner and model from learning trivial solutions that do not generalize to new tasks. We demonstrate that meta-augmentation produces large complementary benefits to recently proposed meta-regularization techniques.

研究动机与目标

• 激发并形式化元学习在两个层面可能过拟合：模型层面的记忆化，以及基础学习者的学习者过拟合。
• 提出元增强作为通过在标签中注入随机性来使任务分布更为多样化的一种手段，从而需要依赖支持集。
• 提供一个信息理论视角，阐明CE增加型增强如何降低过拟合并补充现有的元正则化方法。
• 在少样本图像分类和回归基准上对元增强进行实证验证，并分析其与正则化的相互作用。

提出的方法

• 在元学习设置中定义 CE 保留型增强和 CE 增强。
• 将元增强建模为通过随机比特 epsilon 来加密标签，扩展任务分布，从而强制依赖支持数据。
• 理论地表明，在可逆映射下，CE 增强型增强通过增加 H(epsilon) 使条件熵 H(Y'|X) 提高。
• 并证明在测试时要恢复 Y'，学习者必须从 (x_s, y'_s) 中提取信息，从而减少记忆化过拟合。
• 应用 CE 增强将非互斥任务转换为互斥任务，从而增加对基础学习者的依赖。

实验结果

研究问题

• RQ1 非互斥元学习任务是否会导致记忆化，以及元增强如何缓解？
• RQ2 CE 增强的元增强是否能在各基准上同时降低记忆化过拟合和学习者过拟合？
• RQ3 元增强如何与现有的元正则化方法（如信息瓶颈）以及不同的元学习算法相互作用？
• RQ4 元增强在少样本分类和回归任务上带来哪些经验提升？
• RQ5 不同的任务采样策略（全任务随机化 intershuffle、内部随机化 intrashuffle、非互斥）在元增强下如何影响性能？

主要发现

Problem setting	Non-mutually-exclusive accuracy	Intrashuffle accuracy	Intershuffle accuracy
Omniglot	98.1%	98.5%	98.7%
Mini-ImageNet (MAML)	30.2%	42.7%	46.0%
Mini-ImageNet (Prototypical)	32.5%	32.5%	37.2%
Mini-ImageNet (Matching)	33.8%	33.8%	39.8%
D’Claw	72.5%	79.8%	83.1%

• 元增强在若干基准上相较未增强的基线获得显著提升（Omniglot、Mini-ImageNet、D’Claw）。
• 非互斥任务表现出记忆化和学习者过拟合；intershuffle（全任务随机化）同时缓解两者，而 intrashuffle 则显示中等提升。
• CE 增强增强提高了给定 X 的 Y' 的条件熵，强制在跨任务预测 Y' 时使用支持数据。
• CE 增强的元增强与信息瓶颈等元正则化技术互补，通常提供额外提升。
• 在回归任务（Sinusoid、Pascal3D Pose）中，对目标添加噪声减少过拟合，提升元泛化。
• 通过元增强创建的互斥任务设置提升了 MAML、CNP 及其他元学习者的泛化；在多个基线上均有性能提升。
• 即使在权重衰减或正则化参数变化时，元增强也有助于避免记忆化和学习者过拟合。