[论文解读] A Survey of Distributed Message Broker Queues

Vineet John, Xia Liu|arXiv (Cornell University)|Apr 3, 2017

Distributed systems and fault tolerance参考文献 1被引用 34

一句话总结

本文综述了现代分布式消息代理，重点分析 Apache Kafka 和 AMQP（通过 RabbitMQ 实现），比较其架构、功能及在不同工作负载下的性能表现。研究发现，Kafka 在高吞吐量、低延迟的日志处理中表现出色，具备线性可扩展性；而 AMQP 在高延迟环境下仍能提供更强的可靠性与灵活的路由机制，尤其在高并发场景下表现更优。

ABSTRACT

This paper surveys the message brokers that are in vogue today for distributed communication. Their primary goal is to facilitate the construction of decentralized topologies without single points of failure, enabling fault tolerance and high availability. These characteristics make them optimal for usage within distributed architectures. However, there are multiple protocols built to achieve this, and it would be beneficial to have a empirical comparison between their features and performance to determine their real-world applicability. This paper focuses on two popular protocols (Kafka and AMQP) and explores the divergence in their features as well as their performance under varied testing workloads.

研究动机与目标

• 分析并比较主流分布式消息代理的架构设计与运行特性。
• 评估 Kafka 与 AMQP 在不同工作负载下的实际性能权衡。
• 识别在可靠性、分区、容错能力及消息传递语义方面的关键差异。
• 为系统架构师在选择 Kafka 与基于 AMQP 的解决方案时提供实证基准参考。

提出的方法

• 在由 5 个节点组成的测试环境（硬件一致）上对 Kafka 和 RabbitMQ（AMQP 的实现）进行基准测试：12 核 CPU、16GB 内存、1Gbps 网络及 HDD 存储。
• 开展两类测试：(1) 固定消息负载（100 万条消息，每条 50 字节）下，节点数从 1 扩展至 5；(2) 固定节点数，逐步增加每节点的生产者/消费者数量。
• 使用自研 Go 语言基准测试工具（Flotilla）测量不同配置下的吞吐量与延迟。
• 评估 Kafka 的拉取式模型与分区主题架构，对比 AMQP 的交换器-队列模型及路由键机制。
• 在单个与多个生产者/消费者工作负载下测量性能，以评估水平扩展行为。
• 分析两种系统在消息持久化、持久性及故障恢复机制方面的实现。

实验结果

研究问题

• RQ1 RQ0：当前广泛使用的消息代理实现有哪些？
• RQ2 RQ1：消息队列实现的常见需求是什么？
• RQ3 RQ2：当前消息队列产品提供的功能存在哪些差异？
• RQ4 RQ3：各类实现如何提供可靠性、分区机制与容错能力？

主要发现

• 在单个生产者/消费者工作负载下，Kafka 在节点数从 1 扩展至 5 时，延迟降低约 3 倍，吞吐量仅下降 1.06 倍。
• 在固定负载下，Kafka 的吞吐量随节点数量增加保持稳定，表明其在日志聚合工作负载中具备出色的水平可扩展性。
• 在高并发工作负载下（每节点多个生产者/消费者），Kafka 的延迟显著上升，表明其在高连接密度下性能下降。
• RabbitMQ（AMQP）的延迟高于 Kafka，尤其在高并发场景下，原因在于其基于推送的模型与复杂的路由逻辑。
• AMQP 的消息传递保证（如持久队列与交付模式 2）可确保重启后消息恢复，但相较 Kafka，吞吐量有所降低。
• Kafka 的设计优先考虑吞吐量与低延迟，适用于高吞量日志处理；而 AMQP 侧重可靠性与灵活路由，更适合事务性与企业级工作负载。