[论文解读] Self-Soupervision: Cooking Model Soups without Labels

Anthony Fuller, James R. Green+1 more|arXiv (Cornell University)|Feb 2, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

Self-Soupervision 将模型汤扩展到自监督学习，创建多样的 SSL 成分，可以混合形成鲁棒、无标签的汤，并改善迁移与鲁棒性。通过在 SSL 损失上进行互训练，甚至在测试分布上，也能在被污染的 ImageNet 和 VTAB 任务上取得显著提升。

ABSTRACT

Model soups are strange and strangely effective combinations of parameters. They take a model (the stock), fine-tune it into multiple models (the ingredients), and then mix their parameters back into one model (the soup) to improve predictions. While all known soups require supervised learning, and optimize the same loss on labeled data, our recipes for Self-\emph{Soup}ervision generalize soups to self-supervised learning (SSL). Our Self-Souping lets us flavor ingredients on new data sources, e.g. from unlabeled data from a task for transfer or from a shift for robustness. We show that Self-Souping on corrupted test data, then fine-tuning back on uncorrupted train data, boosts robustness by +3.5\% (ImageNet-C) and +7\% (LAION-C). Self-\emph{Soup}ervision also unlocks countless SSL algorithms to cook the diverse ingredients needed for more robust soups. We show for the first time that ingredients can differ in their SSL hyperparameters -- and more surprisingly, in their SSL algorithms. We cook soups of MAE, MoCoV3, and MMCR ingredients that are more accurate than any one single SSL ingredient.

研究动机与目标

• 推动将模型汤的应用从监督训练扩展到利用未标注数据和 SSL 以提高鲁棒性与迁移能力。
• 引入 Self-Soup ervision 作为一个框架，在任务微调前对来自不同数据集的成分进行多样化 SSL 损失的互训练。
• 证明混合自监督成分可超越传统监督汤，并在分布偏移下提升性能。
• 展示在被污染/测试分布上进行互训练可带来鲁棒性提升，且自监督成分在 SSL 算法与超参数上可能存在差异。

提出的方法

• 将 Self-Soup ervision 定义为一个通用框架，其中成分来自从共享初始库存出发的独立自监督训练跑。
• 在多样化的 SSL 损失（MAE、MoCoV3、MMCR）上进行跨数据的互训练，随后进行监督微调和参数混合以创建汤。
• 探索混合策略：Uniform Mix、Greedy Search，以及 Self-Seasoning（无监督、基于 kNN）来组合成分。
• 在 ImageNet 与 VTAB 上进行带污染的评估（ImageNet-C、LAION-C）和迁移任务评估，包括测试分布移位。
• 证明在共享库存下，自监督成分之间的线性模态连通性（LMC）成立。
• 提供一个完全无监督的变体（Self-Seasoning），在不使用标签进行混合的情况下混合 SSL 成分。

实验结果

研究问题

• RQ1 不同自监督损失训练得到的成分是否可以 meaningful 地混合形成改进的汤？
• RQ2 自监督成分是否能带来与监督汤相当甚至超过的鲁棒性与迁移收益？
• RQ3 在被污染或发生分布移位时进行互训练是否能提升对分布移位的鲁棒性？
• RQ4 完全无监督的 SSL 成分混合是否能在下游任务中实现有竞争力的性能？
• RQ5 不同 SSL 算法（MAE、MoCoV3、MMCR）及其超参数如何影响最终汤？

主要发现

• 多样化 SSL 成分的自汤在单一成分基础上有提升，在 ImageNet-C 与 LAION-C 上最高提升达 +3%，在 ImageNet-A 上达到 +6.6%。
• 在微调前对污染/测试分布进行互训练可带来鲁棒性提升（IN-C +3.5%，LAION-C +7%）并在测试时适应后提高性能。
• 混合在 SSL 运行上存在差异的成分可达到比任一单一成分更高的准确率，表明自监督成分也能满足线性模态连通性。
• Self-Souping 的迁移收益扩展到 21 个 VTAB 任务，在多样化下游任务和污染下表现出适度但有用的改进。
• Self-Seasoning 这一无监督混合方法具有竞争力，在不使用标签进行混合的情况下，在若干任务上甚至可超越某些有监督的基线。