[논문 리뷰] Sparsity-Aware Evolution for Model Merging

Huan Zhang, Yanjian Zhang외 3명|arXiv (Cornell University)|2026. 02. 09.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

논문은 프 pruning 과 sparsity‑driven 신호를 피트니스 함수에 통합하여 모델 병합의 희소성 인식 프레임워크(SAE)를 제시하고, 병합된 LLM의 신뢰성과 모듈성을 향상시킵니다. GSM8K 및 MMLU-ProX에서 여러 아키텍처 규모에 걸쳐 강력한 베이스라인 대비 일관된 이점을 보여줍니다.

ABSTRACT

We propose a sparsity-aware evolutionary (SAE) framework for model merging that involves iterative pruning-merging cycles to act as a novel mutation operator. We incorporate the sparsity constraints into the score function, which steers the evolutionary process to favor more sparse models, in addition to other conventional performance scores. Interestingly, the by-product of extit{competition} for sparsity introduces an extra local extit{attraction} and interplay into the evolutionary process: if one competitor has more zero elements, the other competitor's non-zero elements will occupy those positions, even though the less sparse competitor loses to the more sparse competitor in other positions. The proposed pipeline is evaluated on a variety of large-scale LLM benchmarks. Experiments demonstrate that our approach can improve model merging reliability across multiple benchmarks, and is easy to incorporate due to its simplicity and being orthogonal to most existing approaches.

연구 동기 및 목표

• 여러 사전 학습된 모델을 재학습 없이 신뢰성 있게 병합하도록 동기 부여 및 가능하게 함.
• 진화적 병합 프레임워크에서 희소성을 적극적 규제 신호로 통합함.
• 모듈식이고 충돌 없는 하위 네트워크를 생성하기 위한 가지치기–재밀집 주기를 개발함.

제안 방법

• 인구 기반 가지치기 및 재조합을 통해 병합 공간을 탐색하는 진화적 모델 병합 프레임워크를 채택함.
• 성능 점수와 계층별 희소성 신호를 모두 포함하는 층별 혼합 비율을 계산함.
• 적합도 함수의 일부로 가지치기를 통합하여 부모 모델 간의 경쟁 및 유인 역학을 생성함.
• 탐색과 응집의 균형을 맞추기 위한 어닐링 유사 사이클의 희소성 스케줄링을 적용함.
• 다양한 모델의 아카이브를 활용하여 인구 다양성과 강건한 병합을 촉진함.

Figure 1: $\theta_{A}$ and $\theta_{B}$ are pretrained LLMs that are to be merged into $\theta_{\mathcal{M}}$ . Different sizes of circles represent the mixing ratios belonging to different parents. We maintain a large archive of models after generation $t=0$ to promote diversity based on local and

실험 결과

연구 질문

• RQ1 희소성을 병합 목표에 통합하는 것이 밀집한 기반선 대비 병합된 LLM의 신뢰성과 모듈성을 개선하는가?
• RQ2 희소성 기반의 경쟁 및 유인이 파라미터 공간 탐색에 어떤 영향을 미치는가?
• RQ3 아카이브 크기, 희소성 스케줄링, 희소성 측정치가 병합 성능에 미치는 영향은 무엇인가?
• RQ4 SAE가 대형 언어 모델의 수학적 추론 및 다국어 이해와 같은 과제에 일반화될 수 있는가?

주요 결과

방법	수식 + 다중언어	GSM8K	MMLU-ProX	평균
작업 산술	0.741	0.187	0.464	-
가중 평균	0.742	0.185	0.464	-
랭크평균	0.137	0.176	0.157	-
PSO	0.7801	0.164	0.472	-
SAE (전역)	0.798	0.170	0.484	-
SAE (지역)	0.7748	0.182	0.478	-

• SAE는 GSM8K 및 MMLU-ProX에서 모든 과제 및 아키텍처에서 일관되게 PSO를 능가합니다(전역 SAE: 0.798/0.170/0.484; 지역 SAE: 0.7748/0.182/0.478).
• 희소성 인식 점수는 경쟁-유인 이중 역학을 유발하여 더 희소하고 모듈식인 해를 촉진하고 파괴적 간섭을 감소시킵니다.
• 아카이브 크기를 늘리면 MMLU-ProX에서 SAE 성능이 향상되어 아카이브 다양성이 다국어 추론에 도움이 됨을 시사합니다.
• 변형은 더 넓은 희소성 비율 범위와 0 카운트 희소성 지표를 통해 성능을 향상시킬 수 있으며 계층별 희소성에 대해 작업별 차이가 있습니다.
• 순환적 희소성 스케줄링은 다국어 일반화 및 전반적 안정성을 향상시키며, 더 긴 사이클 확장이 탐색에 도움을 줍니다.

Figure 2: Evolutionary forces in sparsity-aware model merging. Evaluation and sparsity jointly act as a natural selection mechanism over offspring models, while pruning introduces directed exploration toward increasingly empty parameter regions. The merged model evolves within the space spanned by d