[논문 리뷰] Self-Soupervision: Cooking Model Soups without Labels

Anthony Fuller, James R. Green외 1명|arXiv (Cornell University)|2026. 02. 02.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

Self-Soupervision은 모델 수프를 자기지도 학습으로 확장하여 다양한 SSL 재료를 만들어 혼합해 견고하고 라벨 없이도 사용할 수 있는 수프를 구성하고 전이 및 견고성을 개선합니다. SSL 손실 간의 상호 학습과 테스트 분포에서도 수행되어 ImageNet-C와 VTAB 작업에서 주목할 만한 이득을 얻습니다.

ABSTRACT

Model soups are strange and strangely effective combinations of parameters. They take a model (the stock), fine-tune it into multiple models (the ingredients), and then mix their parameters back into one model (the soup) to improve predictions. While all known soups require supervised learning, and optimize the same loss on labeled data, our recipes for Self-\emph{Soup}ervision generalize soups to self-supervised learning (SSL). Our Self-Souping lets us flavor ingredients on new data sources, e.g. from unlabeled data from a task for transfer or from a shift for robustness. We show that Self-Souping on corrupted test data, then fine-tuning back on uncorrupted train data, boosts robustness by +3.5\% (ImageNet-C) and +7\% (LAION-C). Self-\emph{Soup}ervision also unlocks countless SSL algorithms to cook the diverse ingredients needed for more robust soups. We show for the first time that ingredients can differ in their SSL hyperparameters -- and more surprisingly, in their SSL algorithms. We cook soups of MAE, MoCoV3, and MMCR ingredients that are more accurate than any one single SSL ingredient.

연구 동기 및 목표

• 감독 학습을 넘어 모델 수프를 확장하여 라벨이 없는 데이터와 SSL을 활용해 견고성 및 전이 성능을 높이도록 동기를 부여한다.
• Self-Soup ervision을 태스크 미세 조정 전에 서로 다른 SSL 손실과 데이터 세트로 재료를 상호 학습하게 하는 프레임워크로 도입한다.
• 자기지도 재료를 혼합하는 것이 전통적인 감독 수프보다 더 나은 성능을 낼 수 있고 분포 이동 하에서의 성능을 향상시킨다는 것을 보여준다.
• 손상/테스트 분포에서의 상호 학습이 견고성 이득을 낳고, 자기지도 재료가 SSL 알고리즘과 하이퍼파라미터에 따라 달라질 수 있음을 보인다。

제안 방법

• Self-Soup ervision을 공유 재고에서 시작된 독립적인 자기지도 학습 실행에서 재료가 유래하는 일반적 프레임워크로 정의한다.
• 다양한 데이터에 대해 서로 다른 SSL 손실(MAE, MoCoV3, MMCR) 간의 상호 학습을 수행하고, 이어서 감독 학습 미세 조정과 파라미터 혼합으로 수프를 만든다.
• 재료를 결합하기 위한 혼합 전략으로 Uniform Mix, Greedy Search, Self-Seasoning(비감독, kNN 기반)을 탐구한다.
• 손상(ImageNet-C, LAION-C) 및 전이 태스크를 포함한 ImageNet 및 VTAB에서 평가하고, 테스트 분포 이동도 다룬다.
• 공유 재고 하에서 자기지도 재료 간에 Linear Mode Connectivity(LMC)가 성립함을 보여준다.
• 레이블 없이 SSL 재료를 혼합하는 완전 비감독 변형(Self-Seasoning)을 제공한다.

실험 결과

연구 질문

• RQ1 다른 자기지도 손실로 훈련된 재료를 의미 있게 혼합하여 향상된 수프를 형성할 수 있는가?
• RQ2 자기지도 재료가 감독 수프에 버금가거나 이를 상회하는 견고성과 전이 이점을 가능하게 하는가?
• RQ3 손상되거나 시프트된 분포에서의 상호 학습이 분포 이동에 대한 견고성을 향상시키는가?
• RQ4 완전한 비감독 혼합으로 SSL 재료를 섞어 다운스트림 태스크에서 경쟁력 있는 성능을 낼 수 있는가?
• RQ5 다양한 SSL 알고리즘(MAE, MoCoV3, MMCR)과 그 하이퍼파라미터가 최종 수프에 어떤 영향을 미치는가?

주요 결과

• 다양한 SSL 재료로 Self-Souping은 단일 재료 대비 성능이 개선되며 ImageNet-C와 LAION-C에서 각각 최대 +3%, ImageNet-A에서 +6.6%의 이득을 달성한다.
• 미세 조정 전에 손상/테스트 분포에서의 상호 학습은 견고성 이득을 제공하며(+3.5% IN-C, +7% LAION-C) 테스트 시점 적응으로 성능을 향상시킨다.
• SSL 실행 간 차이가 있는 재료를 혼합하면 단일 재료보다 더 높은 정확도를 달성할 수 있어, Self-Supervised 재료에서도 Linear Mode Connectivity가 성립할 수 있음을 시사한다.
• Self-Souping은 21개의 VTAB 태스크로 전이 이득을 전달하며, 다양한 다운스트림 태스크와 손상에 걸쳐 미미하나 유용한 개선을 보인다.
• Self-Seasoning은 비감독 혼합 방법으로서 여러 태스크에서 일부 감독 베이스라인보다 강력하고, 혼합에 레이블을 사용하지 않아도 성능 향상을 보일 수 있다.