[논문 리뷰] MergePipe: A Budget-Aware Parameter Management System for Scalable LLM Merging

Yuanyi Wang, Yanggan Gu외 7명|arXiv (Cornell University)|2026. 02. 05.

Scientific Computing and Data Management인용 수 0

한 줄 요약

MergePipe는 LLM 병합을 데이터 관리 문제로 다루며 예산 인식 계획과 카탈로그 주도 실행 엔진을 도입해 전문가 파라미터 읽기를 한정하고, naive 파이프라인에 비해 상당한 I/O 및 벽시 시간 감소를 달성합니다.

ABSTRACT

Large language model (LLM) merging has become a key technique in modern LLM development pipelines, enabling the integration of multiple task- or domain-specific expert models without retraining. However, as the number of experts grows, existing merging implementations treat model parameters as unstructured files and execute merges in a stateless, one-shot manner, leading to excessive disk I/O, redundant parameter scans, and poor scalability. In this paper, we present extbf{MergePipe}, a parameter management system for scalable LLM merging. MergePipe is the first system that treats LLM merging as a data management and execution problem, and introduces a catalog-driven abstraction over model parameters, merge plans, and execution lineage. At its core, MergePipe employs a cost-aware planner that explicitly models expert parameter I/O and enforces user-specified I/O budgets, followed by a streaming execution engine that materializes merged models under transactional guarantees. Our key insight is that while base model reads and output writes are unavoidable, expert parameter reads dominate merge cost and constitute the primary optimization target. By making expert access budget-aware throughout planning and execution, MergePipe mitigates the $O(K)$ I/O growth of naive pipelines and achieves predictable scaling behavior. Experiments show that MergePipe reduces total I/O by up to an order of magnitude and delivers up to $11 imes$ end-to-end speedups (up to 90\% wall-time reduction) over state-of-the-art LLM merging pipelines.

연구 동기 및 목표

• 나이브 파이프라인에서 전문 읽기(I/O)가 지배적 비용이라는 것을 확인하여 확장 가능한 LLM 병합의 필요성을 제기한다.
• 저장, 계획 및 실행을 반복적 병합에 대해 분리하는 카탈로그 주도형 예산 인식 시스템을 제안한다.
• 사용자가 지정한 I/O 예산하에서 병합된 체크포인트의 재사용, 출처 추적(provenance) 및 트랜잭셔널한 물리화(transactional materialization)를 가능하게 한다.

제안 방법

• 매개변수 블록, 병합 계획 및 실행 계보를 일급 데이터 객체로 다루기 위한 지속 가능한 카탈로그를 도입한다.
• 기본/읽기/쓰기 비용을 전문가 읽기 비용과 분리하고, 전문가 I/O를 예산화된 자원으로 표현하는 비용 모델을 개발한다.
• 사용자 지정된 전문가 I/O 예산 하에서 매개변수 블록을 선택하는 예산 인식 플래너를 설계하고, 카탈로그 메타데이터의 충돌 인식 신호에 의해 안내한다.
• 트랜잭셔널 보장과 정확한 계획 준수를 바탕으로 병합된 체크포인트를 물리화하는 스트리밍 실행 엔진(DeltaIterator)을 구현한다.
• 재현 가능하고 감사 가능한 병합을 위한 원자적 게시 및 매니페스트 기반 계보를 제공한다.

Figure 1 . Naive LLM merging vs. MergePipe. Naive pipelines merge in a stateless, one-shot manner and repeatedly scans expert checkpoints ( $O(K)$ expert I/O), while MergePipe introduces planning, reuse, and budget-bounded expert reads.

실험 결과

연구 질문

• RQ1 전문가 매개변수 읽기를 LLM 병합에서 I/O 증가를 제한하는 예산화된 자원으로 모델링할 수 있는가?
• RQ2 예산 인식 계획 및 실행이 다양한 병합 연산자 및 모델 크기에 걸쳐 예측 가능한 확장을 가능하게 하는가?
• RQ3 반복적 병합 워크플로에서 계획 오버헤드, 재사용 및 실행 비용 간의 트레이드오프는 무엇인가?

주요 결과

• 전문가 읽기가 병합 비용의 지배 요인이며 나이브 파이프라인에서 전문가 수의 증가에 따라 선형으로 증가한다.
• 명시적 전문가 I/O 예산을 적용하면 전문가 수가 증가해도 전문가 읽기가 거의 평탄해져 벽시 시간이 감소한다.
• 총 I/O가 전문가 읽기에서 기본 읽기 및 출력 쓰기로 전환된다; 예산이 전문가 접근을 제약함에 따라
• MergePipe는 총 I/O를 최대 한 자리 수 배 감소, 엔드투엔드 속도향상 최대 11배, (최대 90%의 wall-time 감소)로 최첨단 파이프라인 대비 성능을 달성한다.
• 계획 수립, 메타데이터 관리 및 트랜잭셔널 실행은 작은 오버헤드를 수반하며 반복적 병합 워크플로우에서 상쇄된다.

Figure 2 . Naive merging scales poorly with experts. For 3B models, both TIES and DARE show near-linear growth in total I/O (bars) as $K$ increases, and wall time rises accordingly.