[論文レビュー] Engineering and Experimentally Benchmarking Open Source MQTT Broker Implementations

Jasenka Dizdarević, Marc Michalke+1 more|arXiv (Cornell University)|May 23, 2023

IoT and Edge/Fog Computing被引用数 5

ひとこと要約

本論文は、AMD64仮想マシンとARM64ラズベリーパイクラスタ上で、制御されたネットワーク環境下で5つのオープンソースMQTTブローカー実装（Mosquitto、EMQX、RabbitMQ、VerneMQ、HiveMQ）を実験的にベンチマークする再現可能でオープンソースのテストベッドを提示する。主な発見では、ハードウェアプラットフォーム（VM対ラズベリーパイ）とメッセージペイロードサイズ（特に1MB）が、ブローカー選択よりもはるかに大きな影響を性能に与えることが判明した。VMは特に高遅延またはパケット損失状況下でも、応答時間の短さと一貫性の高さを示した。

ABSTRACT

The Message Queuing Telemetry Transport (MQTT) protocol is one of the most widely used IoT protocol solutions. In this work, we are especially interested in open-source MQTT Broker implementations (such as Mosquitto, EMQX, RabbitMQ, VerneMQ, and HiveMQ). To this end, we engineer a network testbed to experimentally benchmark the performance of these implementations in an edge computing context with constrained devices. In more detail, we engineer an automated deployment and orchestration of the containerized MQTT broker implementations, with support for deployment across either moderately powerful AMD64 devices, or more resource constrained ARM64 devices. The proposed MQTT implementations are evaluated in terms of overhead response time and different payload sizes. Results showed that the hardware platform used as well as the message size, and the network parameters (latency, packet loss and jitter) have a significant impact on the performance differences between the brokers. All results, software tools and code are fully reproducible and free and open source.

研究の動機と目的

• 制限付きデバイスを含む実際のエッジネットワーキング環境における、オープンソースMQTTブローカーの体系的かつ再現可能な実験的ベンチマークの不足に対処すること。
• 遅延、ジタ、パケット損失といったネットワークパラメータが、広く使われているオープンソースMQTTブローカーの性能に与える影響を評価すること。
• AMD64仮想マシンとARM64ラズベリーパイの両方のハードウェアプラットフォーム上で、5つの主要なオープンソースMQTTブローカー（Mosquitto、EMQX、RabbitMQ、VerneMQ、HiveMQ）の性能を比較すること。
• エッジコンピューティングシナリオにおけるMQTTブローカーの繰り返し可能な性能評価を可能にする、完全自動化・コンテナ化・オープンソースのテストベッドを構築すること。
• メッセージサイズ、ネットワーク状態、ハードウェア制約を踏まえた上で、システム設計者が最も適切なMQTTブローカーを選定するための実用的知見を提供すること。

提案手法

• DockerとKubernetesを用いて、AMD64仮想マシンとARM64ラズベリーパイクラスタの両方でMQTTブローカーのデプロイをオーケストレートする再現可能でコンテナ化されたネットワークテストベッドを設計した。
• TC（トラフィックコントロール）ツールを用いて、遅延、ジタ、パケット損失を設定可能なネットワーク条件を再現し、自動化されたテスト実行パイプラインを実装してブローカーの性能をベンチマークした。
• 応答時間のオフセットとメッセージ交換遅延を主な指標として用い、1KB、10KB、1MBの3つのペイロードサイズで性能を測定した。
• 同じテスト条件で5つのオープンソースMQTTブローカー（Mosquitto、EMQX、RabbitMQ、VerneMQ、HiveMQ）をデプロイ・評価し、公平な比較を実現した。
• 複数回の実行およびネットワークシナリオにおける性能の一貫性とばらつきを評価するため、統計的分析（中央値と四分位範囲）を実施した。
• 今後のベンチマークに向け、追加のブローカーや通信プロトコルフレームワークとの統合を可能にする拡張性を備えたテストベッドを設計した。

実験結果

リサーチクエスチョン

• RQ1 遅延、ジタ、パケット損失を含むさまざまなネットワーク条件下で、異なるオープンソースMQTTブローカー実装の性能はどのように異なるか？
• RQ2 エッジコンピューティング環境におけるMQTTブローカー性能に、ハードウェアプラットフォーム（AMD64 VM 対 ARM64 ラズベリーパイ）が与える影響は何か？
• RQ3 メッセージペイロードサイズ（1KB、10KB、1MB）は、異なるネットワークおよびハードウェア構成下でのMQTTブローカーの応答時間と遅延にどのように影響するか？
• RQ4 ブローカー実装の差が性能に与える影響は、ネットワーク要因やハードウェア要因に比べてどの程度のものか？
• RQ5 完全自動化・再現可能・オープンソースのテストベッドは、実際のエッジシナリオにおけるMQTTブローカー性能ベンチマークに効果的に用いることができるか？

主な発見

• ハードウェアプラットフォームがブローカー選択よりも性能に大きな影響を与えており、すべてのシナリオでVMがラズベリーパイ環境よりも顕著に低い応答時間を達成した。
• 1KBおよび10KBのペイロードサイズでは、ネットワーク劣化に伴う遅延の増加はわずかであり、すべてのブローカー間での実装差は無視できるほど小さかった。
• 1MBのペイロードサイズでは、すべてのブローカーが顕著な性能劣化を示し、中央値遅延が著しく上昇し、四分位範囲（IQR）が拡大してばらつきが大きくなった。
• VM上での最悪のネットワークシナリオにおいて、VerneMQ（345.64 ms）とHiveMQ（374.80 ms）はMosquitto（437.10 ms）、EMQX（418.81 ms）、RabbitMQ（429.83 ms）よりも顕著に高い中央値応答時間を示した。これは、大きなペイロードが性能差を顕著にすることを示している。
• 同じハードウェアおよびネットワーク条件でデプロイされた場合、テストベッド自体の性能オフセットはブローカー間で最小限であり、同等であった。これはベンチマーク設定の信頼性を裏付けている。
• 結果から、ハードウェア制約とメッセージサイズが、特に遅延に敏感なIoTアプリケーションにおいて、ブローカー選定の重要な要因であることが明らかになった。