[论文解读] WWW.Serve: Interconnecting Global LLM Services through Decentralization

Wang, Huanyu, Xia, Ziyu+2 more|arXiv (Cornell University)|Mar 21, 2026

Big Data and Digital Economy被引用 0

一句话总结

WWW.Serve 提出一个完全去中心化的全球大模型服务市场，通过信用分类账、基于权益证明的路由、流言同步，以及对决-评判机制来激励高质量、灵活参与，同时保护提供者匿名性。在经验上，在参与动态变化的情况下，接近中心化的效率，且改进的 SLO 和更低的延迟。

ABSTRACT

Large language model (LLM) services are mostly centralized, leading to scalability bottlenecks and underutilization of substantial scattered GPU resources. While decentralization offers a promising alternative, existing frameworks primarily focus on cooperation among GPU providers while overlooking their inherent competitive dynamics, imposing substantial constraints such as excessive platform-level oversight or rigid requirements to execute all assigned requests using fixed software stacks on fixed hardware configurations. We argue that such assumptions are unrealistic in real-world decentralized environments. To this end, we propose WWW$.$Serve, a decentralized framework for interconnecting LLM services worldwide. It allows participants to flexibly determine their participation policies and resource commitments, and supports self-organizing request dispatch, enabling the network to autonomously allocate requests without centralized coordination. Empirically, we show that WWW$.$Serve improves global SLO (service-level-objective) attainment by up to 1.5x and lowers latency by 27.6%. Its performance approaches, and in some cases surpasses, centralized scheduling, while fully preserving the benefits of decentralization. These results highlight WWW$.$Serve as a promising foundation for real-world, decentralized LLM serving.

研究动机与目标

• 推动去中心化的大模型服务以解决中心化瓶颈与全球 GPU 资源的低利用问题。
• 设计一个市场驱动、可信任且灵活的框架，使提供者能够自主参与。
• 引入机制（信用分类账、PoS 路由、流言同步、对决-评判）以确保可靠性和质量。
• 从博弈论角度证明高质量节点随时间占优且系统在动态变化下保持鲁棒性。

提出的方法

• 引入区块链启发的信用分类账，以在防篡改的区块中记录质押与奖励。
• 使用基于权益证明的机制，根据质押信用量成比例地选择执行者以处理委托请求。
• 实现对决-评判过程，部分请求进行成对比较，基于质量进行奖励/惩罚再分配。
• 采用基于流言的协议进行动态对等方同步，以在离线/在线参与情况下无需中心化协调。
• 提供一个政策框架，使用户层（提供者）自定义与系统层保障相结合，以平衡激励与可靠性。

(a) System-level overview.

实验结果

研究问题

• RQ1 如何在无中心协调者的情况下，使匿名参与者之间的可信市场驱动的计算能力交易成为可能？
• RQ2 在完全去中心化的环境中，如何激励提供者提供高质量的大模型服务？
• RQ3 系统在资源可用性高度动态且不可预测的情况下如何保持鲁棒性？
• RQ4 在匿名性下，所提出的激励与路由机制的收敛性质与均衡是什么？

主要发现

• 去中心化的 WWW.Serve 在全球 SLO 达成方面相较单节点部署提升可达至 1.5 倍，在某些设定下相较集中式调度延迟降低最高可达 27.6%。
• 基于信用的系统、PoS 路由、流言同步与对决-评判机制在保持去中心化与提供者匿名性的同时，呈现接近中心化的调度效率。
• 经验评估显示，较高质量的模型、更先进的服务系统与更快的硬件与更快的信用积累及更高的对决-评判胜率呈正相关。
• 系统在动态加入/离开事件下保持鲁棒，通过重新分配工作负载以维持服务连续性且无需中心协调。
• 博弈理论分析表明收敛到高质量均衡，即高质量节点随着时间积累信用并压过低质量节点。

(b) Collaborative request serving workflow.