[논문 리뷰] RL over Commodity Networks: Overcoming the Bandwidth Barrier with Lossless Sparse Deltas

Chaoyi Ruan, Geng Luo외 12명|arXiv (Cornell University)|2026. 02. 12.

Software-Defined Networks and 5G인용 수 0

한 줄 요약

SparrowRL은 손실 없는 희소 델타를 활용하여 일반 네트워크에서 원샷 비동기 RL 학습을 가능하게 하여 전체 가중치 방송에 비해 페이로드를 대폭 감소시키고 처리량을 증가시킵니다.

ABSTRACT

LLM post-training with reinforcement learning (RL) requires frequent synchronization of large model parameters between the trainer and distributed rollout actors. High-throughput RL post-training therefore relies on dedicated RDMA HPC clusters, an infrastructure cost most organizations cannot absorb. A natural alternative is to aggregate loosely-coupled GPUs over standard Ethernet and WAN links, but this commodity connectivity cannot sustain full-weight broadcasts: synchronizing an 8B model can take over 100~seconds on bandwidth-limited links, while rollout generation typically takes tens of seconds. Toward making RL practical in this regime, we observe that RL fine-tuning yields highly sparse per-step updates, with only around 1\% of parameter elements changing. Atop this insight, we present SparrowRL, a novel high-performance RL training system that preserves bit-exact updates without dropping or quantizing information, designed for commodity-networked, loosely-coupled GPU resources. SparrowRL represents each step as a sparse delta checkpoint, pipelines delta extraction with multi-stream transmission, overlaps transfer with rollout generation, and coordinates heterogeneous workers with throughput- and bandwidth-aware scheduling plus lease-based fault tolerance. On Qwen3 models from 4B to 14B deployed across up to four geographic regions, SparrowRL reduces per-step transfer payload by 79$ imes$ for Qwen3-8B and improves throughput by 2.4--9.5$ imes$ over full-weight broadcast across WAN, narrowing the throughput gap relative to an ideal RDMA single-datacenter baseline to within 8.91\%. By leveraging on-demand, cross-cloud GPUs over commodity links, SparrowRL delivers 1.21--1.59$ imes$ higher tokens per dollar than reserved RDMA clusters at comparable throughput.

연구 동기 및 목표

• 다양한 모델과 알고리즘에 걸쳐 RL 미세조정이 매 스텝당 매우 희소한 매개변수 업데이트를 유도함을 입증한다.
• 비트-정확한 업데이트를 보존하면서 일반 네트워크를 통해 희소 델타만 전송하도록 시스템을 설계한다.
• RDMA 없이 지리적으로 분산된 이질적 GPU 배포에서 높은 처리량과 고장 내성을 달성한다.
• 희소-델타 전송이 비용 절감 및 크로스-클라우드 GPU를 활용하면서 RDMA와 유사한 성능에 근접할 수 있음을 보여준다.

제안 방법

• 다양한 모델 패밀리와 RL 알고리즘에 걸친 RL 가중치 업데이트의 희소성을 식별하고 정량화한다.
• 제로-손실 희소 델타 체크포인트를 도입하여 0이 아닌 매개변수 변경만 델타 인덱스로 인코딩한다.
• 다중 스트림 파이프라이닝과 중계 기반 팬아웃을 통한 델타 전송 프로토콜을 개발하여 지역 간 델타를 전송한다.
• 다양성 인식 스케줄링과 임대 기반 고장 내성을 도입하여 느슨하게 결합된 워커를 조정하고 원샷 정책 지연을 유지한다.
• 희소-델타 메커니즘을 RL 도구(FSDP 및 vLLM)와 기존 RL 알고리즘을 변경하지 않고 통합한다.
• Qwen3 모델(4B–14B)을 최대 네 지역에서 SparrowRL을 평가하고, 전체 가중치 방송 및 RDMA 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 다양한 모델과 RL 알고리즘에서 매 스텝당 RL 매개변수 업데이트가 얼마나 희소한가?
• RQ2 손실 없는 희소 델타가 비트-정확한 업데이트를 보존하면서 일반 네트워크의 전송 페이로드를 대폭 줄일 수 있는가?
• RQ3 스트리밍, 다중 스트림 전송과 중계 기반 팬아웃이 지리적으로 분산된 배치에서 높은 처리량을 유지하는가?
• RQ4 이질성 인식 스케줄링과 임대 기반 고장 내성이 원샷 지연을 유지하고 정체를 피하는 데 얼마나 효과적인가?
• RQ5 SparrowRL은 WAN을 가로지르는 RDMA 기반 클러스터 및 전체 가중치 방송과 비교하여 처리량과 비용 측면에서 어떻게 다른가?

주요 결과

• RL 미세조정에서의 매 스텝 업데이트는 모델 전반에 걸쳐 약 1%의 매개변수에만 영향을 주며(Qwen3-4B 1.12%, Qwen3-8B 2.56%, Llama3-8B 2.56%), 대역폭 절감이 크게 가능하다.
• SparrowRL은 Qwen3-8B에 대해 매 스텝 전송 페이로드를 79배 감소시키고 전체 가중치 방송에 비해 WAN 처리량을 2.4–9.5배 개선한다.
• 이상적인 RDMA 단일 데이터센터 기준선에 대한 처리량 격차가 90.3%에서 8.91% 이내로 좁혀진다.
• 일반 네트워크를 통한 크로스-클라우드 GPU는 유사한 처리량에서 예약된 RDMA 클러스터보다 토큰/달러가 1.21–1.59배 높다.
• 시스템은 델타 인코딩 가변 길이 인덱싱과 인덱스용 LEB128를 사용하여 손실 없고 비트-정확한 업데이트를 달성한다.
• 델타 체크포인트는 저장소와 전송을 일원화하여 지역 간 일관된 상태와 안전한 활성화를 보장한다.