[논문 리뷰] An Empirical Study and Theoretical Explanation on Task-Level Model-Merging Collapse

Yuan Cao, Dezhi Ran외 6명|arXiv (Cornell University)|2026. 03. 10.

Software System Performance and Reliability인용 수 0

한 줄 요약

이 논문은 태스크 수준의 표현 불일치가 파인튜닝된 모델의 병합이 붕괴하는 시점을 크게 설명한다는 점을 보이고, 병합 가능성에 대한 rate-distortion 이론 경계치를 제시하며, 다른 아키텍처와 방법에 걸쳐 병합 성공의 강력한 예측자로서 숨겨진 상태 거리 유사도 지표를 검증한다.

ABSTRACT

Model merging unifies independently fine-tuned LLMs from the same base, enabling reuse and integration of parallel development efforts without retraining. However, in practice we observe that merging does not always succeed: certain combinations of task-specialist models suffer from catastrophic performance degradation after merging. We refer to this failure mode as merging collapse. Intuitively, collapse arises when the learned representations or parameter adjustments for different tasks are fundamentally incompatible, so that merging forces destructive interference rather than synergy. In this paper, we identify and characterize the phenomenon of task-level merging collapse, where certain task combinations consistently trigger huge performance degradation across all merging methods. Through extensive experiments and statistical analysis, we demonstrate that representational incompatibility between tasks is strongly correlated with merging collapse, while parameter-space conflict metrics show minimal correlation, challenging conventional wisdom in model merging literature. We provide a theoretical explanation on this phenomenon through rate-distortion theory with a dimension-dependent bound, establishing fundamental limits on task mergeability regardless of methodology.

연구 동기 및 목표

• 독립적으로 파인튜닝된 태스크 특이적 모델들을 병합할 때 성능이 때때로 재앙적으로 악화되는 이유를 조사한다.
• 실패가 태스크 불일치 때문인지 아니면 병합 방법론 때문인지를 식별한다.
• rate-distortion 이론을 사용하여 표현 기하와 병합 가능성 사이의 이론적 프레임워크를 개발한다.
• 성공적인 모델 병합을 위한 태스크 선택을 예측하고 안내하는 실행 가능한 지표를 제공한다.

제안 방법

• 다양한 모델 규모와 아키텍처에 걸쳐 다섯 가지 최첨단 병합 기법을 조사하고 실험한다.
• θ_t − θ_0 로 태스크 벡터를 정의하고 계산하여 파인튜닝 업데이트를 나타낸다.
• 병합 후 상대적 태스크 성능을 바탕으로 L(T_i) 로 병합 손실을 통해 병합 성능을 평가한다.
• 매개변수 공간의 충돌 지표(크기 변화, 부호 변화, 충돌하는 크기, 코사인 유사도)를 분석하고 표현 지표와 비교한다.
• 같은 입력에 대해 모델 간 숨김 표현의 평균 L2 거리로 구성된 Hidden-state Distance Similarity (HiddenSim)을 도입한다.
• Locally Modified Components 하에서 rate-distortion 이론에 기초하여 Theorem 1 를 도출하고 병합 가능성을 숨겨진 상태 직경 Δ 및 표현 차원 d 와 연결한다.

실험 결과

연구 질문

• RQ1 RQ1: 서로 다른 병합 기법에 걸쳐 병합 붕괴가 얼마나 일관되게 발생합니까?
• RQ2 RQ2: 병합 붕괴가 주로 병합 방법에 의한 것인가, 아니면 병합되는 태스크에 의한 것인가?
• RQ3 RQ3: 병합 호환성과 가장 잘 상관관계가 있는 요인은 무엇인가—표현 공간 지표인가 아니면 매개변수 공간 충돌 지표인가?

주요 결과

• 모델 병합은 특정 태스크 조합에서 모든 고려된 기법과 아키텍처에 대해 재앙적으로 실패할 수 있다.
• 태스크 수준의 불일치는 병합 붕괴와 강한 상관관계를 보이는 반면, 매개변수 공간 충돌 지표는 상관관계가 미미하다.
• 모델 표현 간의 Hidden-state distance similarity 는 병합 성능과 상관관계가 있으며, 매개 업데이트 충돌 지표보다 우수하다.
• 이론적 경계: LMC 하에서 최소 달성 가능한 숨겨진 상태 왜곡은 Δ^2 · d / (2(d+1)) 로 한정되며, 여기서 Δ 는 태스크 클러스터 직경이고 d 는 표현 차원(참조 Theorem 1).
• 숨겨진 상태 직경 (Δ) 와 표현 기하가 병합 가능성을 효과적으로 예측하며 차원 인식적 정보 이론적 설명을 지지한다.
• GLUE와 Lots-of-LoRAs 전반에 걸친 실증 결과는 태스크 수준의 영향이 병합 기법 효과보다 지배적임을 보이며(태스크 수준 p 값은 유의하고 기법 수준 효과는 비유의).