[論文レビュー] Kafka versus RabbitMQ

Philippe Dobbelaere, Kyumars Sheykh Esmaili|arXiv (Cornell University)|Sep 1, 2017

Peer-to-Peer Network Technologies参考文献 8被引用数 7

ひとこと要約

この論文は、Apache Kafka と RabbitMQ を、発行/購読システムとしてのコア機能、パフォーマンス、アーキテクチャ的トレードオフの観点から包括的かつ統合的な比較を提供する。質的・量的分析に基づき、システムアーキテクトが特定のユースケースに最適なメッセージングシステムを選択するための意思決定フレームワーク——決定テーブルを含む——を提案している。特に、Kafka は高スループット、パーティショニング、再実行可能なワークロードで優れた性能を発揮するが、RabbitMQ は従来のキューイングシナリオにおいて、より優れたルーティングの柔軟性と低遅延のメッセージ配信を実現していることを強調している。

ABSTRACT

Publish/subscribe is a distributed interaction paradigm well adapted to the deployment of scalable and loosely coupled systems. Apache Kafka and RabbitMQ are two popular open-source and commercially-supported pub/sub systems that have been around for almost a decade and have seen wide adoption. Given the popularity of these two systems and the fact that both are branded as pub/sub systems, two frequently asked questions in the relevant online forums are: how do they compare against each other and which one to use? In this paper, we frame the arguments in a holistic approach by establishing a common comparison framework based on the core functionalities of pub/sub systems. Using this framework, we then venture into a qualitative and quantitative (i.e. empirical) comparison of the common features of the two systems. Additionally, we also highlight the distinct features that each of these systems has. After enumerating a set of use cases that are best suited for RabbitMQ or Kafka, we try to guide the reader through a determination table to choose the best architecture given his/her particular set of requirements.

研究の動機と目的

• 開発者やアーキテクトが Kafka と RabbitMQ のどちらを選ぶべきかについて頻繁に混乱している状況を解消すること。
• コアの発行/購読機能とサービス品質保証に基づいた共通の包括的比較フレームワークを確立すること。
• 質的・量的差異を両方とも考慮したバランスの取れた最新で実証的根拠に基づく分析を提供すること。
• ユースケースに最も適したシステムを特定し、統合アーキテクチャパターンを提案することで、システムアーキテクトが最適なメッセージングシステムを選択できるようにすること。
• システム要件（例：遅延、スループット、順序、レプリケーション）をシステム選択（Kafka、RabbitMQ、またはハイブリッド）にマッピングする意思決定テーブルを提供することにより、文脈に即したインformedなシステム設計を可能にすること。

提案手法

• エンティティ、時間、同期のデカップリングに加え、ルーティングロジックとサービス品質保証を含む、コアの発行/購読機能に基づいた共通の比較フレームワークの構築。
• Kafka と RabbitMQ 間の共通機能（例：メッセージ配信セマンティクス、永続性、スケーラビリティ）の質的比較。
• 単一ノード、パーティショニング、レプリケーションなどのさまざまな構成下でのスループットと遅延の実証的量的ベンチマーク。
• 各システムの特徴の分析：Kafka のログベースアーキテクチャ、パーティショニング、再実行可能性 と RabbitMQ の AMQP ベースのルーティング、エクスチェンジ/バインディングモデル、インメモリ最適化。
• 要件（例：遅延、スループット、順序、レプリケーション）をシステム選択（Kafka、RabbitMQ、またはハイブリッド）にマッピングする決定テーブル（表5）の提案。
• ハイブリッドデプロイメントパターンの評価：たとえば、Kafka を長期保存用に、RabbitMQ を複雑なルーティング用に使用する、またはストリームの並列処理を行うこと。

実験結果

リサーチクエスチョン

• RQ1 Kafka と RabbitMQ は、さまざまな構成下で遅延、スループット、スケーラビリティの点でどのように比較されるか？
• RQ2 Kafka と RabbitMQ 間の設計哲学、メッセージ配信セマンティクス、ルーティング能力における主な質的差異は何か？
• RQ3 厳密なメッセージ順序、再実行性、または複雑なルーティングロジックを要するユースケースにおいて、どちらのシステムがより適しているか？
• RQ4 Kafka がスループットで RabbitMQ を上回る条件は何か？逆に、RabbitMQ が優位性を保つ条件は何か？
• RQ5 単一システムかハイブリッドアーキテクチャかのどちらが、多様で現実世界のシステム要件を満たすのに最適か？

主な発見

• 単一ノード、単一パーティション構成では、RabbitMQ がスループットで Kafka を上回るが、Kafka のパフォーマンスはパーティショニングの増加に伴い著しく向上する。
• Kafka では、'最低1回'配信セマンティクスを使用する際、遅延が約2倍に増加し、ディスクI/Oが必要な場合は最大10倍にまで増加する可能性がある。
• RabbitMQ は、'最大1回'および'最低1回'の配信モードの両方で、平均/中央値ともに約10 msの低遅延を維持しており、差はほとんどない。
• レプリケーションにより、Kafka のパフォーマンスは75％低下し、RabbitMQ では50％低下する。これは、高可用性環境におけるスループットに顕著な影響を与える。
• Kafka のアーキテクチャは、パーティショニングによる水平スケーリングを自然にサポートするが、RabbitMQ では同様のスケーリングを実現するには追加のコンponents（例：Consistent Hash Exchange）が必要である。
• 複雑で動的なルーティングを要するユースケースでは、RabbitMQ がエクスチェンジとバインディングモデルの柔軟性により優れている。一方、高スループット、再実行可能で順序が保証されたストリームを必要とするユースケースでは、Kafka がより適している。