[论文解读] MAML is a Noisy Contrastive Learner in Classification

Chia-Hsiang Kao, Wei-Chen Chiu+1 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文揭示了模型无关元学习（MAML）在少样本分类中表现为一种带有噪声的对比学习方法，其中支持集和查询集的特征根据类别标签被拉近或推开。通过引入‘置零技巧’——在测试前将最后的全连接层置零，该方法减少了随机初始化带来的干扰，提升了泛化能力，在mini-ImageNet和Omniglot数据集上实现了稳定的准确率提升。

ABSTRACT

Model-agnostic meta-learning (MAML) is one of the most popular and widely adopted meta-learning algorithms, achieving remarkable success in various learning problems. Yet, with the unique design of nested inner-loop and outer-loop updates, which govern the task-specific and meta-model-centric learning, respectively, the underlying learning objective of MAML remains implicit and thus impedes a more straightforward understanding of it. In this paper, we provide a new perspective of the working mechanism of MAML. We discover that MAML is analogous to a meta-learner using a supervised contrastive objective. The query features are pulled towards the support features of the same class and against those of different classes. Such contrastiveness is experimentally verified via an analysis based on the cosine similarity. Moreover, we reveal that vanilla MAML has an undesirable interference term originating from the random initialization and the cross-task interaction. We thus propose a simple but effective technique, zeroing trick, to alleviate the interference. Extensive experiments are conducted on both mini-ImageNet and Omniglot datasets to demonstrate the consistent improvement brought by our proposed method, validating its effectiveness.

研究动机与目标

• 揭示MAML在少样本分类中隐含的学习目标。
• 分析内循环和外循环更新如何协同塑造模型表征。
• 识别并缓解MAML中由随机初始化和跨任务交互引起的干扰。
• 验证置零技巧在减少通道记忆化和提升泛化能力方面的有效性。
• 证明在特定条件下，MAML的行为与监督对比学习一致。

提出的方法

• 通过分析内循环和外循环的动态过程，结合余弦相似度和特征层面分析，将MAML建模为一种监督对比学习方法。
• 提出置零技巧：在测试前将最后全连接层的权重置零，以减少随机初始化带来的干扰。
• 在mini-ImageNet和Omniglot数据集上，针对5类1-shot和5类5-shot少样本分类任务评估性能。
• 使用一阶MAML（FOMAML）和二阶MAML（SOMAML），采用标准超参数和训练协议。
• 比较随机初始化与零初始化权重训练的模型，并在推理阶段应用置零技巧。
• 实验包括在非互斥任务设置下的消融研究，以评估通道记忆化和干扰情况。

实验结果

研究问题

• RQ1 MAML的双层优化机制如何隐式实现对比学习目标？
• RQ2 在元训练过程中，支持集和查询集特征在塑造模型表征方面发挥什么作用？
• RQ3 随机初始化如何导致MAML中的干扰？是否可以被缓解？
• RQ4 置零技巧是否能有效减少干扰并提升少样本泛化能力？
• RQ5 MAML的行为在多大程度上与监督对比学习相似？

主要发现

• MAML的外循环损失通过将查询特征拉近到同类别支持特征、推开到不同类别特征，隐式实现了监督对比学习目标。
• 置零技巧——在测试前将最后全连接层置零——在mini-ImageNet和Omniglot上均显著提升了少样本分类准确率。
• 在mini-ImageNet上，置零技巧使5类1-shot准确率最高提升2.5%，5类5-shot准确率最高提升1.8%（相比随机初始化）。
• 在Omniglot上，置零技巧带来一致的性能提升，且在5类5-shot设置下增益更为显著。
• 该方法有效缓解了非互斥任务设置下的通道记忆化问题，减少了跨任务交互带来的干扰。
• 实验结果表明，使用零初始化全连接层的模型在推理时性能与应用置零技巧的模型相当，证实了该技巧在减少初始化偏差方面的有效性。