[논문 리뷰] Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time

Mitchell Wortsman, Gabriel Ilharco외 9명|arXiv (Cornell University)|2022. 03. 10.

Domain Adaptation and Few-Shot Learning인용 수 205

한 줄 요약

여러 독립적으로 파인튜닝된 모델의 가중치를 평균화하는 모델 수프가 종종 최적의 단일 모델을 능가하고 추가 추론 비용 없이 거의 앙상블 수준의 성능을 달성합니다. 그리디 수프가 특히 효과적임으로 강조됩니다.

ABSTRACT

The conventional recipe for maximizing model accuracy is to (1) train multiple models with various hyperparameters and (2) pick the individual model which performs best on a held-out validation set, discarding the remainder. In this paper, we revisit the second step of this procedure in the context of fine-tuning large pre-trained models, where fine-tuned models often appear to lie in a single low error basin. We show that averaging the weights of multiple models fine-tuned with different hyperparameter configurations often improves accuracy and robustness. Unlike a conventional ensemble, we may average many models without incurring any additional inference or memory costs -- we call the results "model soups." When fine-tuning large pre-trained models such as CLIP, ALIGN, and a ViT-G pre-trained on JFT, our soup recipe provides significant improvements over the best model in a hyperparameter sweep on ImageNet. The resulting ViT-G model, which attains 90.94% top-1 accuracy on ImageNet, achieved a new state of the art. Furthermore, we show that the model soup approach extends to multiple image classification and natural language processing tasks, improves out-of-distribution performance, and improves zero-shot performance on new downstream tasks. Finally, we analytically relate the performance similarity of weight-averaging and logit-ensembling to flatness of the loss and confidence of the predictions, and validate this relation empirically. Code is available at https://github.com/mlfoundations/model-soups.

연구 동기 및 목표

• 하이퍼파라미터 다양성에 걸친 가중치 평균화를 활용하여 단일 최적 파인튜닝 모델을 선택하는 대신 대안을 제시한다.
• 모델 수프가 분포 내 데이터 및 분포 변화 데이터에서 정확도와 로버스트성을 향상시킴을 시연한다.
• 그리디 수프가 균일 평균화보다 우수하고 추가 추론 비용 없이 앙상블 수준의 성능에 근접함을 보여준다.
• 비전(CLIP/ALIGN/VIT-G) 및 GLUE 벤치마크를 포함한 NLP 작업에 대한 적용 가능성을 탐구한다.
• 가중치 평균화가 로짓 앙상블 및 손실 지형의 평탄성과 언제 일치하는지에 대한 분석적 통찰을 제공한다.

제안 방법

• 대규모 사전학습 모델(CLIP, ALIGN, ViT-G 등)을 광범위한 하이퍼파라미터 탐색을 통해 파인튜닝한다.
• 선정된 파인튜닝 모델의 가중치를 평균화하여 모델 수프를 형성한다(균일 수프) 또는 검증 정확도가 향상될 때만 모델을 추가하는 그리디 절차를 사용한다.
• 수프를 인디스트리뷰션 및 분포시프트 하에서 앙상블 및 최상의 개별 모델과 비교한다.
• 두 모델 가중치 평균화를 분석하여 수프 성능을 로짓 앙상블 및 손실 지형의 평탄성과 연관지어 연구한다.
• 이미지 분류, 분포-시프트 데이터셋 및 초기 NLP GLUE 작업에 걸쳐 평가한다.
• 참조된 GitHub 저장소에서 모델 수프의 오픈소스 코드를 제공한다.

실험 결과

연구 질문

• RQ1 독립적으로 파인튜닝된 모델의 가중치를 평균화하는 것이 최상의 개별 모델을 선택하는 것보다 더 높은 정확도를 내는가?
• RQ2 비전과 NLP 과제에서 균일 수프와 그리디 수프가 정확도와 로버스트성 측면에서 어떻게 비교되는가?
• RQ3 모델 수프 성능이 앙상블 성능 및 손실 지형의 평탄성과 어떤 관계가 있는가?
• RQ4 모델 수프가 이미지 분류를 넘어 대형 비전 트랜스포머 및 언어 모델로 확장되는가?
• RQ5 데이터셋 및 작업 전반에서의 보정(calibration) 한계와 모델 수프의 적용 가능성에 한계는 무엇인가?

주요 결과

• 그리디 수프는 추가 학습이나 추론 비용 없이 ImageNet 및 분포-시프트 데이터셋에서 종종 최상의 개별 모델을 능가한다.
• For CLIP and ALIGN fine-tuned on ImageNet, greedy soup improves over the best single model by 0.7–0.5 percentage points, respectively.
• A ViT-G/14 model soup on ImageNet reaches 90.94% top-1, approaching state-of-the-art with fewer FLOPs than prior methods.
• Model soups improve performance across image classification, distribution shifts, and some NLP GLUE tasks, though gains in calibration are limited.
• Analytical approximations show soup performance relates to loss landscape flatness and prediction confidence, with empirical validation.
• Greedy soups offer a practical alternative to ensembling when resources are constrained.