[論文レビュー] SimMerge: Learning to Select Merge Operators from Similarity Signals

Oliver Bolton, Aakanksha+4 more|arXiv (Cornell University)|Jan 14, 2026

Topic Modeling被引用数 0

ひとこと要約

SimMerge は、チェックポイント間の安価な類似信号を用いてマージ演算子とマージ順を選択する予測的マージ選択法であり、7B から 111B モデルにおいて固定演算子を上回り、オンラインのバンディット適応を可能にします。

ABSTRACT

Model merging combines multiple models into a single model with aggregated capabilities, making it a powerful tool for large language model (LLM) development. However, scaling model merging is challenging: performance depends on the choice of merge operator, model subset, and merge order, often requiring expensive merge-and-evaluate searches. In this work, we introduce SimMerge, a predictive merge-selection method that identifies high-performing merges using inexpensive, task-agnostic similarity signals between models. Given a small set of unlabeled probes, SimMerge extracts functional and structural features to predict the performance of candidate two-way merges, enabling merge operator, order and model subset selection without iterative evaluation. We show that SimMerge consistently outperforms the best fixed merge operator across 7B-parameter LLMs and generalizes to multi-way merges and 111B-parameter LLMs without retraining. We further introduce a bandit variant that supports adding new tasks and operators online. Our results suggest that learning how to merge enables scalable model composition when checkpoint catalogs are large and evaluation budgets are limited.

研究の動機と目的

• expensive なマージと評価の探索に依存することを削減して、スケーラブルなモデル統合を動機づける。
• マージ演算子とマージ順を、事前マージの類似信号を用いて選択する予測子を開発する。
• 対にならんだ演算子選択を拡張して、再訓練なしで効率的なマルチウェイ統合を実現する。
• 新しいタスク、モデル、演算子へ適応するオンライン文脈バンディット変種を提供する。
• 7B から 111B のパラメータモデルおよびオンライン設定におけるアプローチの移行性を示す。

提案手法

• 機能的・構造的類似性（ロジットの KL ダイバーギンス、活性化のコサイン類似度、重み空間のコサイン距離、ユークリッド距離、注意パターンの類似性を含む）から、前マージ特徴ベクトル x(m_a, m_b, t) を構築する。シーケンスを要約して固定次元に集約する。
• タスクごとに各演算子 o = {Linear, Slerp, TIES} の予測ユーティリティを出力するペアワイズ予測子 f_plan を訓練する。予測ユーティリティの最大値を取る演算子を選択する。
• 同じペアワイズ特徴を用いて中間のユーティリティを再帰的に予測することで、マルチウェイ・マージ計画をスコアリングし、中間モデルを構築せずに順序付きマージの列を選択する。
• 部分的なフィードバックの下でオンライン適応を行うニューラル-リニア設計の文脈バンディット変種を導入する。オフラインのペアワイズデータでウォームスタートし、選択されたアームごとに LinTS（線形トムソンサンプリング）で更新する。
• 7B および 111B モデルにまたがる 2-, 3-, 4-way マージをコード、数学、多言語、RAG、指示タスクで評価し、固定演算子と比較して、タスク専門家および補助の正規化ギャップを報告する。

Figure 1 : Overview of SimMerge . Given a set of domain-specialized checkpoints and small unlabeled probe set for each domain, we compute pre-merge similarity signals, predict the merge operator for each binary merge step and the merge order, and then execute the selected plan once to obtain a singl

実験結果

リサーチクエスチョン

• RQ1 前マージの類似信号は、特定の expert–auxiliary ペアに対して最も良い下流性能を生むマージ演算子を予測できるか？
• RQ2 ペアワイズ類似性ベースの予測子は、追加の監視や再訓練なしにマルチウェイマージへ効果的に拡張できるか？
• RQ3 同じ類似特徴を用いたオンラインバンディット変種は、新しいタスク、モデル、演算子へ効率的に適応できるか？
• RQ4 7B で学習した選択子は再訓練なしに 111B モデルへ移行でき、プール内のより多くのモデルで性能はどのようにスケールするか？

主な発見

• SimMerge は、Code、Math、Multilingual、RAG の領域で、2-, 3-, 4-way マージにおいて最良の固定演算子を常に上回る。
• タスクを跨いで平均すると、SimMerge は expert–auxiliary のパフォーマンスギャップを 65.0% 部分まで埋め、最良の固定演算子の 41.8% を上回る。
• 学習された演算子選択はマージ順にも改善をもたらし、ランダム順序と比較して大幅なゲインを生む（例: Code の場合 +47 パーセンテージポイント）。
• 7B で学習したペアワイズマージが 111B の 3-way マージへ再訓練なしで移行し、専門家/補助の取引に有利な結果を維持する。
• オンラインの文脈バンディット変種（LinTS）は、低い後悔で演算子を選択することを学習し、部分的なフィードバックの下でoracleの性能に近づく。

Figure 2 : Percentage of the expert–auxiliary performance gap closed by each merge method across Code, Math, Multilingual, and RAG tasks. SimMerge consistently recovers a larger fraction of expert performance than fixed merge operators across all domains.