Skip to main content
QUICK REVIEW

[论文解读] Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing

Dujian Ding, Ankur Mallick|arXiv (Cornell University)|Apr 22, 2024
Caching and Content DeliveryComputer Science被引用 6
一句话总结

本文提出一个混合推理框架,通过训练好的路由器在小型、成本高效的 LLM 和大型、高质量的 LLM 之间路由用户查询,在不显著质量损失的前提下,最多减少 40% 的对大型模型的调用。

ABSTRACT

Large language models (LLMs) excel in most NLP tasks but also require expensive cloud servers for deployment due to their size, while smaller models that can be deployed on lower cost (e.g., edge) devices, tend to lag behind in terms of response quality. Therefore in this work we propose a hybrid inference approach which combines their respective strengths to save cost and maintain quality. Our approach uses a router that assigns queries to the small or large model based on the predicted query difficulty and the desired quality level. The desired quality level can be tuned dynamically at test time to seamlessly trade quality for cost as per the scenario requirements. In experiments our approach allows us to make up to 40% fewer calls to the large model, with no drop in response quality.

研究动机与目标

  • 动机:在部署大型 LLM 时的成本与质量挑战,并展示混合推理如何降低云端成本。
  • 提出一个路由器,预测查询难度和质量差距,以决定将查询路由到小模型还是大模型。
  • 在 LLM 输出中引入非确定性,以提升路由决策。
  • 通过一种新颖的数据转换方法,解决数据不平衡和模型对之间的显著性能差距。
  • 在多种 LLM 对和 MixInstruct 基准上提供广泛的实证验证。

提出的方法

  • 定义一个路由器 r,将每个查询分配给小模型 S 或大模型 L。
  • 使用基于 DeBERTa-v3-large 的路由器来预测一个分数 p_w(x),指示小模型易处理的查询。
  • 训练确定性和概率性路由器变体,以逼近 Pr[H(x) ≥ 0],其中 H(x) = q(S(x)) − q(L(x))。
  • 引入一个带有软标签 y^prob_i 的概率性路由器,通过多次采样估计,以考虑 LLM 的非确定性。
  • 开发一个带数据变换的概率性路由器 y^trans_i(t) = Pr[H(x_i) ≥ −t],并优化 t* 以平衡标签分布。
  • 评估三种路由策略:r_det(确定性)、r_prob(概率性)和 r_trans(带变换的概率性)。
  • 以 BART 分数作为响应质量度量 q(·),以成本优势作为发送到小模型的查询百分比。
  • 在 MixInstruct 上进行实验,模型对包括 FLAN-T5 变体、Llama-2 变体和 GPT-3.5-turbo。

实验结果

研究问题

  • RQ1一个路由器是否能够有效识别“易”查询,使小模型在质量上接近大型模型的能力,覆盖多样的自然语言处理任务?
  • RQ2在小型与大型 LLM 之间路由时,可实现的成本节省(成本优势)及相应的质量影响是什么?
  • RQ3确定性、概率性和转换标签的路由变体在不同模型对之间的性能差距下有何比较?
  • RQ4路由方法对 LLM 的非确定性和易/难查询的数据不平衡有多鲁棒?
  • RQ5在实际部署中,测试时应使用哪些阈值来平衡成本和质量?

主要发现

  • 路由器可以将相当大比例的查询路由到小模型,同时几乎不损失质量,在某些设置中实现了最高 40% 的成本优势。
  • 在模型之间存在较大性能差距时,概率性和带变换标签的路由器通常优于确定性路由器。
  • 在小到中等性能差距下,成本优势约为 20%–40%,且质量下降极小甚至为零。
  • 带变换标签的路由器(r_trans)在存在显著模型差距时仍保持较强性能,相比确定性和标准概率路由器具有显著收益。
  • 路由器延迟与 LLM 推理相比可以忽略不计,路由器延迟约为 0.036 秒,而模型延迟在 0.46 到 14.61 秒之间。
  • 在标定集上选择的经验阈值能很好地泛化到测试集,带来类似的成本-质量权衡。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。