[论文解读] A study on Modern Messaging Systems- Kafka, RabbitMQ and NATS Streaming

T Sharvari, Sowmya Nag K|arXiv (Cornell University)|Dec 8, 2019

Peer-to-Peer Network Technologies参考文献 11被引用 24

一句话总结

本文对三种现代消息系统——Apache Kafka、RabbitMQ 和 NATS Streaming——进行了比较分析，评估其架构、特性以及在实时、可扩展和容错分布式应用中的适用性。通过识别消息持久性、吞吐量、延迟和部署模式的关键差异，为系统架构师在微服务和大数据流处理中选择最适合的 messaging 平台提供指导。

ABSTRACT

Distributed messaging systems form the core of big data streaming, cloud native applications and microservice architecture. With real-time critical applications there is a growing need for well-built messaging platform that is scalable, fault tolerant and has low latency. There are multiple modern messaging systems that have come up in the recent past, all with their own pros and cons. This has become problematic for the industry to decide which messaging system is the most suitable for a specific application. An in-depth study is required to decide which features of a messaging system meet the needs of the application. This survey paper outlines the modern messaging technologies and delves deep on three popular publisher/subscriber systems- Apache Kafka, RabbitMQ and NATS Streaming. The paper provides information about messaging systems, the use cases, similarities and differences of features to facilitate users to make an informed decision and also pave way for future research and development.

研究动机与目标

• 评估并比较现代消息系统在分布式计算环境中的设计、特性和性能特征。
• 识别 Apache Kafka、RabbitMQ 和 NATS Streaming 在实时、可扩展和容错工作负载中的优势与局限性。
• 基于应用特定需求（如吞吐量、延迟和消息持久性）提供选择最合适的消息系统的选择框架。
• 突出架构差异和功能权衡，以支持在微服务和大数据流处理系统中的明智采用。
• 为未来在消息系统优化和互操作性方面的研究奠定基础。

提出的方法

• 对三种主流发布/订阅消息系统（Apache Kafka、RabbitMQ 和 NATS Streaming）进行比较调查。
• 分析系统架构、消息持久化模型，以及对消息顺序和交付保证的支持。
• 评估吞吐量、延迟和可扩展性等性能方面在不同工作负载下的表现。
• 比较消息保留、集群支持以及对不同消息模式（如队列、主题、流）的支持等特性。
• 使用结构化框架将系统能力映射到云原生和微服务架构中的常见用例。
• 以表格和图表形式总结特性对比，支持并列评估。

实验结果

研究问题

• RQ1 Kafka、RabbitMQ 和 NATS Streaming 在其底层架构和消息传递语义方面有何不同？
• RQ2 这些系统在吞吐量、延迟和消息持久性之间存在哪些性能权衡？
• RQ3 基于消息保留和可扩展性等特性，每种系统最适合哪些类型的工作负载？
• RQ4 这些系统在生产环境中如何处理容错和高可用性？
• RQ5 影响实时数据管道和微服务中系统选择的关键架构决策是什么？

主要发现

• Apache Kafka 提供高吞吐量、基于日志的持久化消息传递，具备强大的持久性和水平可扩展性，非常适合事件流处理和大数据工作负载。
• RabbitMQ 通过交换机和队列提供丰富的路由能力以及灵活的消息模式，适用于企业级微服务中的复杂消息路由。
• NATS Streaming 提供低延迟、轻量级的消息传递，具有简单的 API，非常适合对资源开销要求极低的云原生和容器化环境。
• Kafka 凭借其基于日志的存储机制，在消息保留和重放方面表现优异，而 RabbitMQ 支持更高级的消息路由和过滤功能。
• NATS Streaming 在延迟方面更低，部署更简单，但高级持久化和复制功能较少。
• 三者之间的选择在很大程度上取决于工作负载特征：Kafka 适用于高吞吐量、持久化流处理；RabbitMQ 适用于复杂路由；NATS 适用于低延迟、轻量级场景。