[论文解读] A Combined LIFO-Priority Scheme for Overload Control of E-commerce Web Servers

Naresh Singhmar, Vipul Mathur+2 more|ArXiv.org|Nov 17, 2006

Network Traffic and Congestion Control参考文献 7被引用 23

一句话总结

本文提出了一种用于电子商务Web服务器的LIFO-优先级（LIFO-Pri）调度方案，通过优先处理创收交易请求而非浏览请求，提升过载控制能力。通过在浏览请求队列中应用LIFO机制，并对交易请求队列实施绝对优先级，该方案将交易完成率提高了7倍，在1.5倍过载情况下仍能维持最大容量的60%，显著减少请求放弃率，提升吞吐量和响应速度。

ABSTRACT

E-commerce Web-servers often face overload conditions during which revenue-generating requests may be dropped or abandoned due to an increase in the browsing requests. In this paper we present a simple, yet effective, mechanism for overload control of E-commerce Web-servers. We develop an E-commerce workload model that separates the browsing requests from revenue-generating transaction requests. During overload, we apply LIFO discipline in the browsing queues and use a dynamic priority model to service them. The transaction queues are given absolute priority over the browsing queues. This is called the LIFO-Pri scheduling discipline. Experimental results show that LIFO-Pri dramatically improves the overall Web-server throughput while also increasing the completion rate of revenue-generating requests. The Web-server was able to operate at nearly 60% of its maximum capacity even when offered load was 1.5 times its capacity. Further, when compared to a single queue FIFO system, there was a seven-fold increase in the number of completed revenue-generating requests during overload.

研究动机与目标

• 为解决电子商务Web服务器在高浏览请求量导致的性能下降和请求放弃问题，尤其是在过载情况下。
• 区分创收交易请求与间接创收的浏览请求，优先处理前者以最大化业务成果。
• 设计并实验验证一种简单有效的过载控制机制，在真实工作负载条件下提升服务器吞吐量和请求完成率。
• 证明将浏览请求队列的LIFO调度与交易请求队列的绝对优先级相结合，可显著增强系统在过载下的鲁棒性与性能。

提出的方法

• 作者开发了一种基于会话的工作负载模型，以模拟真实用户行为，包括会话时长可变、请求放弃与重试等特征。
• 实现了双队列架构：浏览请求通过独立队列中的LIFO机制服务，而交易请求则被赋予相对于浏览请求的绝对优先级。
• 采用动态优先级模型，根据系统负载和性能指标调整浏览队列的服务权重。
• 以CPU利用率作为过载指标，当利用率超过阈值时触发LIFO-Pri调度策略。
• 通过真实Web服务器模拟器对系统在不同负载下的表现进行了实验评估。
• 将LIFO-Pri方案与单队列FIFO系统及8队列加权公平队列系统（8Q-AF）进行了对比。

实验结果

研究问题

• RQ1 将浏览请求的LIFO调度与交易请求的绝对优先级相结合，对服务器过载期间的交易完成率有何影响？
• RQ2 与FIFO和公平队列方案相比，LIFO-Pri方案在减少请求放弃率和改善响应时间分布方面达到何种程度？
• RQ3 LIFO-Pri机制是否能在提供1.5倍于服务器标称容量的负载下，仍维持高服务器利用率（如最大容量的60%）？
• RQ4 在高负载下，尤其在用户重试和放弃行为普遍存在时，LIFO-Pri方案对生成和完成的交易请求数量有何影响？
• RQ5 LIFO机制在多大程度上减少了因响应时间过长而导致的会话放弃？

主要发现

• 在过载期间，与单队列FIFO系统相比，LIFO-Pri方案使完成的创收请求数量增加了七倍。
• 即使在负载为服务器最大容量1.5倍的情况下，Web服务器仍能维持接近60%的最大容量，展现出极强的过载鲁棒性。
• 在负载因子ρ=1.4时，LIFO-Pri成功完成了195个'login'请求中的187个，仅有8个超时，无请求丢失，显著优于其他方案。
• 浏览请求的放弃数量从8Q-AF中的16,305例降至8Q-LIFO-Pri中的4,075例，表明用户留存率和系统响应能力得到显著提升。
• 对于'main'页面（Br-1），LIFO-Pri方案中80%的请求响应时间低于5秒，而FIFO和8Q-AF方案中仅分别为10%，显示出感知性能的显著改善。
• 在所有负载水平下，LIFO-Pri方案下完成交易的平均响应时间均显著降低，有助于减少请求放弃并提升吞吐量。