[論文レビュー] A Survey of Distributed Message Broker Queues

Vineet John, Xia Liu|arXiv (Cornell University)|Apr 3, 2017

Distributed systems and fault tolerance参考文献 1被引用数 34

ひとこと要約

この論文は、現代の分散メッセージブローカーを調査し、Apache KafkaとAMQP（RabbitMQを介して）に焦点を当て、アーキテクチャ、機能、さまざまなワークロード下でのパフォーマンスを比較している。Kafkaは、線形スケーラビリティを備えた高スルーレート・低レイテンシーなログ処理において優れた性能を発揮する一方、AMQPは高い信頼性と柔軟なルーティングを提供するが、特に高並列処理下でレイテンシーが高くなるという代償を伴う。

ABSTRACT

This paper surveys the message brokers that are in vogue today for distributed communication. Their primary goal is to facilitate the construction of decentralized topologies without single points of failure, enabling fault tolerance and high availability. These characteristics make them optimal for usage within distributed architectures. However, there are multiple protocols built to achieve this, and it would be beneficial to have a empirical comparison between their features and performance to determine their real-world applicability. This paper focuses on two popular protocols (Kafka and AMQP) and explores the divergence in their features as well as their performance under varied testing workloads.

研究の動機と目的

• 主要な分散メッセージブローカーのアーキテクチャ的設計および運用的特性を分析・比較すること。
• さまざまなワークロード下でのKafkaとAMQPの間の実世界のパフォーマンスのトレードオフを評価すること。
• 信頼性、パーティショニング、障害耐性、メッセージ配信セマンティクスの面での主な差異を特定すること。
• システムアーキテクトがKafkaとAMQPベースのソリューションの間で選択する際の実証的ベンチマークを提供すること。

提案手法

• 同じハードウェア仕様（12コアCPU、16GBメモリ、1Gbpsネットワーク、HDDストレージ）を有する5ノードのテストベッドを用いて、KafkaとRabbitMQ（AMQPの実装）をベンチマーク化した。
• 2種類のテストを実施した：(1) 固定のメッセージ負荷（100万件、1件あたり50バイト）を想定し、ノード数を1から5に段階的に増加させたスケーリングテスト、(2) ノード数を一定に保ちつつ、ノードあたりのプロデューサー／コンシューマー数を増加させたテスト。
• スルーレートとレイテンシーを測定するために、カスタムのGoベースのベンチマーキングツール（Flotilla）を用いた。
• Kafkaのプルベースモデルとパーティショニングされたトピックアーキテクチャと、AMQPのエクスチェンジ・キュー構造とルーティングキーを比較評価した。
• 水平スケーリングの挙動を評価するために、単一および複数のプロデューサー／コンシューマーを想定したワークロード下でのパフォーマンスを測定した。
• 両システムにおけるメッセージの永続性、耐久性、障害回復メカニズムを分析した。

実験結果

リサーチクエスチョン

• RQ1 RQ0: 今日一般的に使用されているメッセージブローカーの実装は何か？
• RQ2 RQ1: メッセージキューの実装に一般的に求められる要件は何か？
• RQ3 RQ2: 現在のメッセージキュー製品における機能の相違点は何か？
• RQ4 RQ3: それぞれの実装が信頼性、パーティショニング、障害耐性をどのように提供しているか？

主な発見

• 単一のプロデューサー／コンシューマーワークロード下でノード数を1から5に増加させた際、Kafkaはレイテンシーを3倍低減したが、スルーレートの低下はわずか1.06倍にとどまった。
• 固定負荷下でノード数を増加させてもKafkaのスルーレートは安定しており、ログ集約ワークロードにおける強力な水平スケーラビリティを示している。
• 複数のプロデューサー／コンシューマーがノードあたり存在する高並列処理ワークロード下では、Kafkaのレイテンシーが顕著に上昇し、接続密度の高い状況でのパフォーマンス劣化が顕著に現れた。
• RabbitMQ（AMQP）は、プッシュベースのモデルと複雑なルーティングロジックのため、特に高並列処理下でKafkaよりも高いレイテンシーを示した。
• AMQPのメッセージ配信保証（例：デリバリー・モード2の永続キュー）により、再起動後もメッセージの回復が保証されたが、Kafkaに比べてスルーレートが低下した。
• Kafkaの設計はスルーレートと低レイテンシーを最優先としており、高容量のログ処理に最適である一方、AMQPは信頼性と柔軟なルーティングを重視しており、トランザクション処理やエンタープライズワークロードに適している。