[论文解读] Large Language Models (LLMs): Deployment, Tokenomics and Sustainability

Haiwei Dong, Shuang Xie|arXiv (Cornell University)|May 27, 2024

Topic Modeling被引用 4

一句话总结

本文研究了大型语言模型（LLMs）的部署策略——检索增强生成（RAG）与微调——量化了训练与推理的xPU资源需求，从用户体验质量（QoE）角度分析了代币经济，通过碳足迹建模评估了环境可持续性。研究提出了一种混合LLM架构，以在性能、成本与生态影响之间取得平衡，LLMCarbon能够为密集模型和专家混合模型提供精确的排放估算。

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has significantly impacted human-computer interaction, epitomized by the release of GPT-4o, which introduced comprehensive multi-modality capabilities. In this paper, we first explored the deployment strategies, economic considerations, and sustainability challenges associated with the state-of-the-art LLMs. More specifically, we discussed the deployment debate between Retrieval-Augmented Generation (RAG) and fine-tuning, highlighting their respective advantages and limitations. After that, we quantitatively analyzed the requirement of xPUs in training and inference. Additionally, for the tokenomics of LLM services, we examined the balance between performance and cost from the quality of experience (QoE)'s perspective of end users. Lastly, we envisioned the future hybrid architecture of LLM processing and its corresponding sustainability concerns, particularly in the environmental carbon footprint impact. Through these discussions, we provided a comprehensive overview of the operational and strategic considerations essential for the responsible development and deployment of LLMs.

研究动机与目标

• 分析在特定领域部署LLM时，RAG与微调之间的权衡。
• 量化最先进LLM在训练与推理中的xPU资源需求。
• 通过以用户体验质量（QoE）为导向的代币经济框架，评估LLM服务的经济与环境可持续性。
• 利用先进的建模工具（如LLMCarbon），预测并评估LLM的碳足迹，包括运行排放与嵌入排放。
• 构想一种未来混合LLM架构，以优化性能、成本效率与环境影响。

提出的方法

• 采用RAG与微调的对比分析，评估其在处理领域特定知识与上下文窗口限制方面的优势。
• 基于真实世界的LLM工作负载，量化了训练与推理的xPU计算需求，强调了在云、雾与边缘基础设施中的硬件可扩展性。
• 集成基于QoE的代币经济模型，以平衡服务性能与成本，兼顾用户满意度与系统效率。
• 应用LLMCarbon——一种端到端的碳足迹预测模型——估算密集模型与专家混合（MoE）LLM架构的排放量。
• 对通信拓扑（如胖树、Dragonfly）与网络层级（ToR、WAN、DCI）进行建模，以评估分布式LLM训练与推理中的能耗。
• 通过双重视角评估可持续性：经济可行性（价值 vs. 成本）与环境影响（可再生能源使用、能效硬件、低功耗AI设计）。

实验结果

研究问题

• RQ1 在特定领域LLM部署中，RAG与微调在性能、成本与可扩展性方面如何比较？
• RQ2 现代LLM在训练与推理中的xPU计算需求是什么？它们在云、雾与边缘环境中的扩展特性如何？
• RQ3 如何优化代币经济，以在LLM应用中平衡用户体验质量（QoE）与服务成本？
• RQ4 LLMCarbon在估算LLM碳足迹方面，特别是对MoE等复杂架构的估算，其准确性如何？
• RQ5 何种混合LLM处理架构最能平衡性能、成本效率与环境可持续性？

主要发现

• LLMCarbon对GPT-3训练的碳足迹估算为553.87 tCO₂eq，与实际值536.69 tCO₂eq的偏差仅为0.32%，显示出高度准确性。
• mlco2因假设峰值功耗恒定，导致运行碳排放估算高出69%，凸显了现有估算工具的局限性。
• RAG通过检索外部知识与少样本示例，有效缓解幻觉与上下文窗口限制，提升事实准确性。
• 微调可提升领域特定性能，但需昂贵且经过筛选的数据集，且在动态或罕见领域查询中不如RAG适应性强。
• 混合LLM架构整合中心化、雾计算与边缘计算，并结合多模态处理，可实现可扩展、低延迟与高能效的推理。
• 环境可持续性需采取整体方法：数据中心使用可再生能源、采用能效模型架构，并推广低功耗AI硬件，以减少嵌入与运行碳足迹。