[논문 리뷰] Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging

Max Zimmer, Christoph Spiegel외 1명|arXiv (Cornell University)|2023. 06. 29.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 반복적 크기 제거(IMP)를 향상시키기 위해 다양한 하이퍼파rameter(학습률 스케줄 및 가중치 감쇠 등)를 사용해 훈련한 다수의 정제된 모델을 평균화하는 방법인 희박 모델 수프(Sparse Model Soups, SMS)를 소개한다. 재훈련 시 동일한 희박 연결 구조를 유지함으로써 SMS는 희박성을 유지하면서 일반화 성능과 분포 외 성능을 크게 향상시키며, 개별 정제된 모델과 표준 IMP보다 뛰어나며 훈련 시간도 줄인다.

ABSTRACT

Neural networks can be significantly compressed by pruning, yielding sparse models with reduced storage and computational demands while preserving predictive performance. Model soups (Wortsman et al., 2022) enhance generalization and out-of-distribution (OOD) performance by averaging the parameters of multiple models into a single one, without increasing inference time. However, achieving both sparsity and parameter averaging is challenging as averaging arbitrary sparse models reduces the overall sparsity due to differing sparse connectivities. This work addresses these challenges by demonstrating that exploring a single retraining phase of Iterative Magnitude Pruning (IMP) with varied hyperparameter configurations such as batch ordering or weight decay yields models suitable for averaging, sharing identical sparse connectivity by design. Averaging these models significantly enhances generalization and OOD performance over their individual counterparts. Building on this, we introduce Sparse Model Soups (SMS), a novel method for merging sparse models by initiating each prune-retrain cycle with the averaged model from the previous phase. SMS preserves sparsity, exploits sparse network benefits, is modular and fully parallelizable, and substantially improves IMP's performance. We further demonstrate that SMS can be adapted to enhance state-of-the-art pruning-during-training approaches.

연구 동기 및 목표

• 정제된 신경망에서 모델 평균화와 희박성을 효과적으로 융합하는 문제를 해결하기 위해.
• 추론 비용을 증가시키지 않고 일반화 성능과 분포 외 성능을 향상시키기 위해.
• 다양한 재훈련 모델 간에 동일한 희박 연결 패턴을 재사용함으로써 희박 모델의 효율적이고 병렬 처리 가능한 훈련을 가능하게 하기 위해.
• IMP 중 다양한 하이퍼파rameter를 사용해 재훈련한 모델들이 평균화에 적합하면서도 희박성을 유지할 수 있음을 보여주기 위해.
• 다음 정제 사이클을 평균화된 모델에서 초기화함으로써 성능 향상을 더욱 높일 수 있음을 보여주기 위해.

제안 방법

• 학습률 스케줄 및 가중치 감쇠 등의 하이퍼파rameter가 다른 반복적 크기 제거(IMP)를 사용해 동일한 초기 가중치를 가진 다수의 정제된 모델을 훈련한다.
• 재훈련 전에 정제를 적용하여 모든 모델가 동일한 희박 연결 패턴을 공유하도록 보장함으로써 직접적인 파라미터 평균화를 가능하게 한다.
• 다수의 재훈련된 모델의 파라미터를 평균화하여 단일한 희박 모델을 구성함으로써 희박성과 추론 효율성을 유지한다.
• 각 후속 정제 사이클을 이전에 평균화된 모델에서 초기화함으로써 점진적인 성능 향상을 가능하게 한다.
• 모든 모델에서 수렴성과 안정성을 보장하기 위해 일관된 재훈련 스케줄(예: ALLR)을 사용한다.
• 해당 방법의 모듈성과 병렬 처리 가능성에 착안하여 추론 비용을 증가시키지 않고도 다수의 모델에 대해 확장 가능하다.

실험 결과

연구 질문

• RQ1 정제된 신경망에서 구조적 희박성과 함께 모델 평균화를 효과적으로 융합할 수 있는가? 이때 희박성은 유지되고 추론 비용은 증가하지 않는가?
• RQ2 다양한 하이퍼파rameter로 재훈련한 다수의 정제된 모델을 평균화하면 개별 모델보다 일반화 성능과 분포 외 성능이 향상되는가?
• RQ3 다음 정제 사이클을 평균화된 모델에서 초기화함으로써 반복적 크기 제거의 성능을 향상시킬 수 있는가?
• RQ4 재훈련 중 어떤 하이퍼파ram터 설정이 평균화에 적합하면서도 충분한 다양성을 유지할 수 있는가?
• RQ5 재훈련의 길이와 스케줄은 결과 희박 모델 수프의 성능에 어떤 영향을 미치는가?

주요 결과

• 95% 희박성에서 CIFAR-100에서 희박 모델 수프(SMS)는 테스트 정확도 99.52%를 달성했으며, 동일 조건에서 표준 IMP는 98.79%를 기록해 SMS가 뛰어난 성능을 보였다.
• 97% 희박성에서 SMS는 97.68%의 정확도를 기록했고, IMP는 98.90%를 기록하여 고희박성 수준에서도 일관된 성능 향상을 보였다.
• 공유된 연결 구조를 활용해 다수의 모델을 병렬로 훈련함으로써 개별 모델을 동일한 기간 동안 재훈련하는 것보다 훈련 시간을 줄였다.
• 제거 실험 결과, 적절한 학습률 스케줄(예: ALLR)과 결합할 경우 단일 재훈련 에포크만으로도 상당한 성능 향상이 가능함을 확인했다.
• 학습률 스케줄 및 가중치 감쇠 등의 다양한 하이퍼파ram터를 사용한 재훈련은 평균화에 적합하면서도 일반화 성능 향상을 위해 충분한 다양성을 제공하는 모델을 생성한다.
• 다음 정제 사이클을 평균화된 모델에서 초기화함으로써 후속 재훈련 단계에서 성능 향상이 이루어지며, 이는 해당 방법의 누적적 이점임을 시사한다.