[论文解读] Load Balancer Tuning: Comparative Analysis of HAProxy Load Balancing Methods

Connor Rawls, Mohsen Amini Salehi|arXiv (Cornell University)|Dec 29, 2022

Cloud Computing and Resource Management被引用 4

一句话总结

本文在不同工作负载和后端配置下评估了 HAProxy 的负载均衡算法，表明线程数调优和算法选择对响应时间和资源效率具有显著影响。研究发现，在同构环境中，随机、leastconn 和 roundrobin 算法表现最优；而在异构环境中，基于 ALB 的方法优于 NLB，为云环境下的成本与性能优化提供了可操作的调优指南。

ABSTRACT

Load balancing is prevalent in practical application (e.g., web) deployments seen today. One such load balancer, HAProxy, remains relevant as an open-source, easy-to-use system. In the context of web systems, the load balancer tier possesses significant influence over system performance and the incurred cost, which is decisive for cloud-based deployments. Therefore, it is imperative to properly tune the load balancer configuration and get the most performance out of the existing resources. In this technical report, we first introduce the HAProxy architecture and its load balancing methods. Then, we discuss fine-tuning parameters within this load balancer and examine their performances in face of various workload intensities. Our evaluation encompasses various types of web requests and homogeneous and heterogeneous back-ends. Lastly, based on the findings of this study, we present a set of best practices to optimally configure HAProxy.

研究动机与目标

• 评估 HAProxy 在不同工作负载强度下各种负载均衡算法的性能表现。
• 研究配置参数（尤其是线程数）对响应时间和系统效率的影响。
• 比较在网络层（NLB）和应用层（ALB）负载均衡方法在同构与异构后端环境中的有效性。
• 提供基于数据的最佳实践，以优化 HAProxy 配置，从而最小化云成本并最大化性能。

提出的方法

• 使用真实世界 Web 工作负载，在同构和异构后端服务器配置下对 HAProxy 进行基准测试。
• 通过 libvirt 实现自定义 CPU 使用率监控，以支持动态负载均衡决策。
• 扩展 HAProxy 源代码，实现一种基于实时 CPU 使用率阈值过滤服务器的自定义随机算法。
• 使用 Makefile 配置和自定义编译标志，将修改后的 HAProxy 与附加库（如 libvirt）一起编译。
• 测量多种负载均衡算法和线程配置下的响应时间和系统吞吐量。
• 分析请求负载持续增加时的性能趋势，以识别算法与配置之间的权衡。

实验结果

研究问题

• RQ1 在独占式和共享主机环境中，HAProxy 中处理线程数量如何影响响应时间？
• RQ2 在同构后端服务器环境中，哪些负载均衡算法（如随机、leastconn、roundrobin）能实现最低的响应时间？
• RQ3 当后端服务器具有异构容量时，基于 ALB 的算法与基于 NLB 的算法在性能上如何比较？
• RQ4 服务器异构性对负载均衡性能有何影响？哪些算法能最好地利用这种异构性？
• RQ5 通过考虑实时服务器指标（如 CPU 使用率）的自定义调优算法，能否提升负载均衡效率？

主要发现

• 在独立运行时，HAProxy 使用默认线程数可获得最佳响应时间；但当 HAProxy 与其他进程共享主机时，略微减少线程数可提升性能。
• 在同构后端环境中，随机、leastconn、roundrobin 和 static-rr 算法表现出最低且最一致的响应时间，偏差极小。
• 在异构后端环境中，考虑应用层信息和服务器状态的 ALB 基础算法优于其 NLB 对应算法。
• 对于异构后端，如源 IP 或 URI 哈希等基于特定策略的算法是实现可接受性能所必需的，因为通用算法可能导致工作负载分配不均。
• 通过集成实时 CPU 使用率监控对 HAProxy 进行定制化，可实现更智能的请求路由，降低高负载服务器过载的风险。
• 研究发现算法复杂度与性能增益之间存在明确权衡，实践中简单算法往往优于复杂算法。