[论文解读] Kafka versus RabbitMQ

Philippe Dobbelaere, Kyumars Sheykh Esmaili|arXiv (Cornell University)|Sep 1, 2017

Peer-to-Peer Network Technologies参考文献 8被引用 7

一句话总结

本文对 Apache Kafka 与 RabbitMQ 作为发布/订阅系统进行了全面、整体性的比较，评估了其核心功能、性能及架构权衡。基于定性与定量分析，提出了一个决策框架——包括一张判定表——以指导系统架构师根据具体用例选择最优的消息系统，强调 Kafka 在高吞吐量、分区化、可重放工作负载方面表现优异，而 RabbitMQ 在传统队列场景中则在路由灵活性和低延迟消息传递方面更具优势。

ABSTRACT

Publish/subscribe is a distributed interaction paradigm well adapted to the deployment of scalable and loosely coupled systems. Apache Kafka and RabbitMQ are two popular open-source and commercially-supported pub/sub systems that have been around for almost a decade and have seen wide adoption. Given the popularity of these two systems and the fact that both are branded as pub/sub systems, two frequently asked questions in the relevant online forums are: how do they compare against each other and which one to use? In this paper, we frame the arguments in a holistic approach by establishing a common comparison framework based on the core functionalities of pub/sub systems. Using this framework, we then venture into a qualitative and quantitative (i.e. empirical) comparison of the common features of the two systems. Additionally, we also highlight the distinct features that each of these systems has. After enumerating a set of use cases that are best suited for RabbitMQ or Kafka, we try to guide the reader through a determination table to choose the best architecture given his/her particular set of requirements.

研究动机与目标

• 解决开发人员和架构师在选择 Kafka 或 RabbitMQ 时的常见困惑。
• 基于核心发布/订阅功能和服务质量保证，建立一个统一的整体比较框架。
• 提供一份平衡、最新且基于实证分析的对比，涵盖定性和定量差异。
• 通过识别最适合每种系统的用例并提出联合架构模式，指导系统架构师选择最优消息系统。
• 提供一张决策表，将系统需求映射到架构选择（Kafka、RabbitMQ 或混合架构），以实现上下文感知的明智系统设计。

提出的方法

• 基于核心发布/订阅功能（实体、时间、同步解耦），以及路由逻辑和质量保证，建立统一的比较框架。
• 对 Kafka 与 RabbitMQ 的常见功能（如消息传递语义、持久化、可扩展性）进行定性比较。
• 在不同配置（单节点、分区化、复制）下，对吞吐量和延迟进行实证定量基准测试。
• 分析各系统的独特功能：Kafka 的日志架构、分区机制与可重放性，与 RabbitMQ 的 AMQP 路由、交换器/绑定模型及内存优化机制的对比。
• 提出一张判定表（表 5），将需求（如延迟、吞吐量、顺序性、复制）映射到系统选择（Kafka、RabbitMQ 或混合）。
• 评估混合部署模式，例如使用 Kafka 进行长期存储，RabbitMQ 进行复杂路由，或并行处理数据流。

实验结果

研究问题

• RQ1 在不同配置下，Kafka 与 RabbitMQ 在延迟、吞吐量和可扩展性方面如何比较？
• RQ2 Kafka 与 RabbitMQ 在设计哲学、消息传递语义和路由能力方面有哪些关键定性差异？
• RQ3 在需要严格消息顺序、可重放性或复杂路由逻辑的用例中，哪种系统更合适？
• RQ4 在何种条件下 Kafka 在吞吐量方面优于 RabbitMQ，而 RabbitMQ 又在何时保持优势？
• RQ5 何种架构模式——单一系统或混合模式——最能满足多样化的真实世界系统需求？

主要发现

• 在单节点、单分区配置下，RabbitMQ 的吞吐量优于 Kafka，但 Kafka 的性能在分区数量增加时显著提升。
• 使用 '至少一次' 传递语义时，Kafka 的延迟增加约两倍，若需磁盘 I/O，延迟最高可增长十倍。
• RabbitMQ 在 '最多一次' 和 '至少一次' 传递模式下均保持低延迟（平均/中位数约 10 ms），差异极小。
• 复制机制使 Kafka 的性能下降 75%，RabbitMQ 的性能下降 50%，在高可用性部署中显著影响吞吐量。
• Kafka 的架构通过分区天然支持水平扩展，而 RabbitMQ 需要额外组件（如一致性哈希交换器）才能实现类似可扩展性。
• 对于需要复杂动态路由的用例，RabbitMQ 由于其灵活的交换器与绑定模型更占优势；而对于高吞吐量、可重放、有序的数据流，Kafka 更为合适。