[論文レビュー] An Empirical Study and Theoretical Explanation on Task-Level Model-Merging Collapse

Yuan Cao, Dezhi Ran+6 more|arXiv (Cornell University)|Mar 10, 2026

Software System Performance and Reliability被引用数 0

ひとこと要約

論文は、タスクレベルの表現不整合がファインチューニング済みモデルをマージすると崩壊する主な原因であることを大筋で説明し、マージ可能性のためのレート歪み理論の境界を提案し、隠れ状態距離類似性指標を異なるアーキテクチャと手法を横断してマージ失敗を予測する強力な指標として検証する。

ABSTRACT

Model merging unifies independently fine-tuned LLMs from the same base, enabling reuse and integration of parallel development efforts without retraining. However, in practice we observe that merging does not always succeed: certain combinations of task-specialist models suffer from catastrophic performance degradation after merging. We refer to this failure mode as merging collapse. Intuitively, collapse arises when the learned representations or parameter adjustments for different tasks are fundamentally incompatible, so that merging forces destructive interference rather than synergy. In this paper, we identify and characterize the phenomenon of task-level merging collapse, where certain task combinations consistently trigger huge performance degradation across all merging methods. Through extensive experiments and statistical analysis, we demonstrate that representational incompatibility between tasks is strongly correlated with merging collapse, while parameter-space conflict metrics show minimal correlation, challenging conventional wisdom in model merging literature. We provide a theoretical explanation on this phenomenon through rate-distortion theory with a dimension-dependent bound, establishing fundamental limits on task mergeability regardless of methodology.

研究の動機と目的

• 独立にファインチューニングされたタスク固有モデルをマージすることで、時に性能が壊滅的に低下する理由を調査する。
• 崩壊がタスクの不整合性かマージ方法論によるものかを特定する。
• レート歪み理論を用いて表現幾何とマージ可能性を結ぶ理論的枠組みを開発する。
• マージ成功を予測し、タスク選択を導く実用的な指標を提供する。

提案手法

• 5つの最先端マージ技術を、さまざまなモデルサイズとアーキテクチャで調査・実験する。
• ファインチューニングの更新を表すタスクベクトルを θ_t − θ_0 として定義・計算する。
• マージ後の相対タスク性能に基づくマージ損失 L(T_i) でマージ性能を評価する。
• パラメータ空間の競合指標（振幅の変化、符号の変化、矛盾する振幅、コサイン類似度）を分析し、表現指標と比較する。
• 同じ入力に対するモデル間の隠れ層表現の平均 L2 距離に基づく Hidden-state Distance Similarity（HiddenSim）を導入する。
• Locally Modified Components の下でレート歪み理論から定理1を導出・述べ、マージ可能性を隠れ状態径 Δ および表現次元 d と関連づける。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異なるマージ技術間で崩壊がどれくらい一貫して発生するか。
• RQ2 RQ2: 崩壊は主にマージ手法に依存するのか、それともマージされるタスクに依存するのか。
• RQ3 RQ3: マージ適合性と相関する要因は、表現空間の指標かパラメータ空間の競合指標か。

主な発見

• モデルのマージは、検討したすべての技術とアーキテクチャにおいて、特定のタスクの組み合わせで壊滅的に失敗する可能性がある。
• タスクレベルの不整合性はマージ崩壊と強い相関を示し、パラメータ空間の競合指標は最小限の相関を示す。
• 隠れ状態の距離類似性は、表現間の距離がマージ性能と相関し、パラメータ更新の競合指標よりも優る。
• 理論的境界：LMC の下で、達成可能な最小の隠れ状態歪みは Δ^2 · d / (2(d+1)) によって境界付けられる（定理1）。
• 隠れ状態径 Δ と表現幾何はマージ可能性を効果的に予測し、次元感知の情報理論的説明を支持する。
• GLUE と Lots-of-LoRAs にわたる経験的結果は、タスクレベルの効果がマージ技術効果より支配的であることを示す（タスクレベルの有意な p 値、技術レベルの効果は有意でない）。