[論文レビュー] A study on Modern Messaging Systems- Kafka, RabbitMQ and NATS Streaming

T Sharvari, Sowmya Nag K|arXiv (Cornell University)|Dec 8, 2019

Peer-to-Peer Network Technologies参考文献 11被引用数 24

ひとこと要約

本論文は、Apache Kafka、RabbitMQ、NATS Streamingという3つの現代的なメッセージングシステムの比較分析を提供し、そのアーキテクチャ、機能、リアルタイム性、スケーラビリティ、フェイルセーフな分散アプリケーションへの適性を評価している。メッセージの永続性、スループット、レイテンシ、デプロイメントパターンの違いを特定することで、マイクロサービスやビッグデータストリーミングにおける特定のユースケースに最適なメッセージングプラットフォームの選定をシステムアーキテクトに支援する。

ABSTRACT

Distributed messaging systems form the core of big data streaming, cloud native applications and microservice architecture. With real-time critical applications there is a growing need for well-built messaging platform that is scalable, fault tolerant and has low latency. There are multiple modern messaging systems that have come up in the recent past, all with their own pros and cons. This has become problematic for the industry to decide which messaging system is the most suitable for a specific application. An in-depth study is required to decide which features of a messaging system meet the needs of the application. This survey paper outlines the modern messaging technologies and delves deep on three popular publisher/subscriber systems- Apache Kafka, RabbitMQ and NATS Streaming. The paper provides information about messaging systems, the use cases, similarities and differences of features to facilitate users to make an informed decision and also pave way for future research and development.

研究の動機と目的

• 分散コンピューティング環境における現代的なメッセージングシステムの設計、機能、パフォーランス特性を評価および比較すること。
• リアルタイム性、スケーラビリティ、フェイルセーフなワークロードにおけるApache Kafka、RabbitMQ、NATS Streamingの強みと限界を特定すること。
• スループット、レイテンシ、メッセージの耐久性といったアプリケーション固有の要件に基づいて、最も適したメッセージングシステムを選定するための意思決定フレームワークを提供すること。
• マイクロサービスやビッグデータストリーミングシステムにおける適切な採用を支援するため、アーキテクチャの違いや機能のトレードオフを強調すること。
• リアルタイムデータパイプラインやマイクロサービス向けのメッセージングシステム最適化および相互運用性に関する今後の研究の基盤を築くこと。

提案手法

• Apache Kafka、RabbitMQ、NATS Streamingという3つの代表的な発行/購読メッセージングシステムの比較的な調査を実施する。
• システムアーキテクチャ、メッセージの永続化モデル、メッセージの順序と配信保証のサポートを分析する。
• スループット、レイテンシ、さまざまなワークロード下でのスケーラビリティといったパフォーマンス要因を評価する。
• メッセージの保持期間、クラスタリング、さまざまなメッセージングパターン（例：キュー、トピック、ストリーム）のサポートといった機能を比較する。
• クラウドネイティブおよびマイクロサービスアーキテクチャにおける一般的なユースケースにシステム機能をマッピングする構造化フレームワークを用いる。
• 比較可能な特徴を表形式および図形式で要約し、並列での評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Kafka、RabbitMQ、NATS Streamingは、その基盤となるアーキテクチャとメッセージ配信セマンティクスにおいてどのように異なるか？
• RQ2 これらのシステムにおけるスループット、レイテンシ、メッセージの耐久性の間のパフォーマンス的トレードオフは何か？
• RQ3 メッセージの保持期間やスケーラビリティといった特徴に基づいて、各システムが最も適しているワークロードの種類は何か？
• RQ4 生産環境において、これらのシステムはフェイルセーフ性と高可用性をどのように処理しているか？
• RQ5 リアルタイムデータパイプラインやマイクロサービス向けのシステム選定に影響を与える主なアーキテクチャ的意思決定は何か？

主な発見

• Apache Kafkaは、強力な耐久性と水平スケーラビリティを備えた高スループットのログベースのメッセージングを提供し、イベントストリーミングやビッグデータワークロードに最適である。
• RabbitMQは、エクスチェンジとキューを通じた豊富なルーティング機能と柔軟なメッセージパターンを備えており、企業向けマイクロサービスにおける複雑なメッセージルーティングに適している。
• NATS Streamingは、低レイテンシで軽量なメッセージングを提供し、シンプルなAPIを備えており、リソースのオーバーヘッドを最小限に抑えたいクラウドネイティブおよびコンテナ化環境に最適である。
• Kafkaは、ログベースのストレージのおかげでメッセージの保持期間とリプレイ性に優れているのに対し、RabbitMQはより高度なメッセージルーティングとフィルタリングをサポートしている。
• NATS Streamingは、Kafka や RabbitMQ よりも低レイテンシでシンプルなデプロイメントを実現しているが、高度な永続性およびレプリケーション機能は少ない。
• 3つのシステムの選定は、ワークロードの特性に大きく依存する：高ボリュームで耐久性が求められるストリーミングにはKafka、複雑なルーティングが必要な場合にはRabbitMQ、低レイテンシかつ軽量なシナリオにはNATSが適している。