[论文解读] MetaMixUp: Learning Adaptive Interpolation Policy of MixUp with Meta-Learning

Zhijun Mai, Guosheng Hu+3 more|arXiv (Cornell University)|Aug 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用 6

一句话总结

MetaMixUp 提出一种基于元学习的方法，以动态学习数据自适应的插值策略，通过减少由损坏的虚拟样本引起的欠拟合，提升泛化性能。与原始 MixUp 的随机 Beta 分布插值不同，MetaMixUp 使用在线元优化来精炼插值系数，从而在 CIFAR-10 和 SVHN 上的监督学习与半监督学习中均取得当前最优性能。

ABSTRACT

MixUp is an effective data augmentation method to regularize deep neural networks via random linear interpolations between pairs of samples and their labels. It plays an important role in model regularization, semi-supervised learning and domain adaption. However, despite its empirical success, its deficiency of randomly mixing samples has poorly been studied. Since deep networks are capable of memorizing the entire dataset, the corrupted samples generated by vanilla MixUp with a badly chosen interpolation policy will degrade the performance of networks. To overcome the underfitting by corrupted samples, inspired by Meta-learning (learning to learn), we propose a novel technique of learning to mixup in this work, namely, MetaMixUp. Unlike the vanilla MixUp that samples interpolation policy from a predefined distribution, this paper introduces a meta-learning based online optimization approach to dynamically learn the interpolation policy in a data-adaptive way. The validation set performance via meta-learning captures the underfitting issue, which provides more information to refine interpolation policy. Furthermore, we adapt our method for pseudo-label based semisupervised learning (SSL) along with a refined pseudo-labeling strategy. In our experiments, our method achieves better performance than vanilla MixUp and its variants under supervised learning configuration. In particular, extensive experiments show that our MetaMixUp adapted SSL greatly outperforms MixUp and many state-of-the-art methods on CIFAR-10 and SVHN benchmarks under SSL configuration.

研究动机与目标

• 解决由于随机采样插值策略选择不当而导致的原始 MixUp 中的欠拟合问题。
• 通过学习避免流形入侵和模糊标签混合的数据自适应插值策略，提升模型泛化能力。
• 开发一种元学习框架，利用验证集性能反馈优化 MixUp 策略，实现实时、连续的自适应。
• 将方法扩展至半监督学习，结合改进的置信度阈值伪标签策略，提升在标注数据有限的基准上的性能。
• 证明所提出方法在监督与半监督设置下，于多个基准上均优于原始 MixUp 及其变体。

提出的方法

• MetaMixUp 采用元学习范式，其中元模型利用验证集性能作为信号，为每对样本学习最优插值系数 λ。
• 该方法使用基于梯度的在线元优化，以可微、连续的方式持续精炼 λ，避免对策略候选集进行离散搜索。
• 元模型通过最小化验证集上的期望损失进行训练，该损失捕捉了欠拟合风险，并指导鲁棒插值策略的学习。
• 主模型在训练过程中使用学习到的 λ 值，而元模型则根据主模型在验证数据上的表现反馈进行更新。
• 在半监督学习中，MetaMixUp 与置信度阈值化的伪标签策略相结合，其中 σd 控制伪标签置信度阈值的衰减。
• 该方法在理论上得到支持，证明 MixUp 损失是梯度利普希茨常数的下界，从而将插值质量与模型鲁棒性建立联系。

实验结果

研究问题

• RQ1 元学习能否有效用于学习 MixUp 的数据自适应插值策略，从而在泛化性能上超越随机采样？
• RQ2 学习到的插值策略分布如何在训练过程中演化？是否收敛至类别特定的模式？
• RQ3 与原始 MixUp 相比，MetaMixUp 是否能有效缓解流形入侵与欠拟合，尤其是在分布偏移较大的情况下？
• RQ4 MetaMixUp 对超参数选择（如半监督学习中的置信度衰减率 σd）的鲁棒性如何？
• RQ5 MetaMixUp 是否能在监督与半监督学习基准中均实现当前最优性能？

主要发现

• 在 CIFAR-10 上使用 ResNet-50 训练时，MetaMixUp 显著降低训练损失，表明收敛性更好且欠拟合更少。
• 在 MNIST 上，MetaMixUp 中 λ = 0 和 λ = 1 的相对频率上升，表明模型在存在碰撞或退化风险时倾向于避免混合。
• 在 CIFAR-10 上，学习到的插值策略分布从随机演化为数据特定，λ 值随训练轮次在类别特定区域逐渐收敛。
• 在半监督学习设置下，MetaMixUp 在 CIFAR-10 上取得 11.22% 的测试错误率，在 SVHN 上取得 5.34% 的测试错误率，优于 MixUp 及当前最优方法。
• 该方法对超参数 σd 具备鲁棒性，在 0.01 到 0.2 的取值范围内性能变化极小，表明对参数选择不敏感。
• 理论分析证实，MixUp 损失是梯度利普希茨常数的下界，为插值策略质量的重要性提供了形式化依据。