[論文レビュー] Towards Message Brokers for Generative AI: Survey, Challenges, and Opportunities

Alaa Saleh, Morabito, Roberto+3 more|arXiv (Cornell University)|Dec 22, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

本調査では、生成AI（GenAI）ワークロードに特化したメッセージブローカー枠組みを提案し、スケーラビリティ、フェイルセーフ性、データ永続性といった重要な基準において、従来型および現代的なパブリッシュ/サブスクライブ（pub/sub）ブローカーを分析する。既存システムにおける主な制限を特定し、GenAIの動的かつ高スルーレートのデータ通信ニーズを満たす、強固で柔軟なアーキテクチャを提示する。

ABSTRACT

In today's digital world, Generative Artificial Intelligence (GenAI) such as Large Language Models (LLMs) is becoming increasingly prevalent, extending its reach across diverse applications. This surge in adoption has sparked a significant increase in demand for data-centric GenAI models, highlighting the necessity for robust data communication infrastructures. Central to this need are message brokers, which serve as essential channels for data transfer within various system components. This survey aims to delve into a comprehensive analysis of traditional and modern message brokers, offering a comparative study of prevalent platforms. Our study considers numerous criteria including, but not limited to, open-source availability, integrated monitoring tools, message prioritization mechanisms, capabilities for parallel processing, reliability, distribution and clustering functionalities, authentication processes, data persistence strategies, fault tolerance, and scalability. Furthermore, we explore the intrinsic constraints that the design and operation of each message broker might impose, recognizing that these limitations are crucial in understanding their real-world applicability. Finally, this study examines the enhancement of message broker mechanisms specifically for GenAI contexts, emphasizing the criticality of developing a versatile message broker framework. Such a framework would be poised for quick adaptation, catering to the dynamic and growing demands of GenAI in the foreseeable future. Through this dual-pronged approach, we intend to contribute a foundational compendium that can guide future innovations and infrastructural advancements in the realm of GenAI data communication.

研究の動機と目的

• 生成AI（GenAI）ワークロード、特に大規模言語モデル（LLM）に基づくものに対して、既存のメッセージブローカーの適性を分析すること。
• GenAIの高スルーレート・低遅延要件を満たすための効果的なデータ交換を妨げる、現在のメッセージブローカー設計における重要な制限を特定すること。
• 分散的かつ動的なコンピューティング環境におけるGenAIアプリケーションの進化する要件に最適化された、新規で柔軟なメッセージブローカー枠組みを提案すること。
• 将来の研究およびインfra構築を支援するため、レジリエントでスケーラブルかつ効率的なGenAIネイティブなメッセージングシステムを構築する上で重要な課題と機会を明らかにすること。

提案手法

• Apache Kafka、RabbitMQ、Amazon MQ、Google Cloud Pub/Sub、Azure Storage Queue、Amazon Kinesis、IronMQを含む12の代表的メッセージブローカーを、14の主要基準に基づいて包括的な比較分析を行う。
• クラスタリング、監視、認証、メッセージ優先順位、フェイルセーフ性、プッシュおよびプルメッセージングパターンの両方のサポートといった機能を、体系的に各ブローカーについて評価する。
• メッセージサイズ制限、接続数制限、確実な配信が保証されない構成の欠如といった、GenAIへの適用を制限するアーキテクチャ的・運用的制約を特定する。
• 優れた性能を示すブローカーからのベストプラクティスを統合し、拡張性、水平スケーリング、リアルタイム診断を強調した、提案された枠組みに統合する。
• GenAIのデータ集約パイプラインに特化した、メッセージルーティング、ロードバランシング、ステート管理のためのアルゴリズム的およびアーキテクチャ的改善を提案する。
• MLOpsおよび継続的診断と緩和（CDM）の原則を統合し、GenAIメッセージングスタックにおけるランタイム監視と動的構成変更を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GenAIワークロードに適用した場合、既存のメッセージブローカーに見られる主なアーキテクチャ的および運用的制限は何か？
• RQ2 スケーラビリティ、フェイルセーフ性、メッセージ永続性、GenAI文脈における並列処理のサポートといった重要な基準において、異なるメッセージブローカーはどのように比較されるか？
• RQ3 GenAIアプリケーションの動的かつ高スルーレートのデータフローを効果的にサポートするためのメッセージブローカー枠組みに、不可欠な設計原則とコンponentsは何か？
• RQ4 GenAIパイプラインにおけるリアルタイム診断、監視、動的リソース管理を支援するには、どのようにメッセージブローカー・システムを強化できるか？
• RQ5 パブリッシュ/サブスクライブ（pub/sub）パラダイムとブローカーレス代替案は、GenAIシステムのためのスケーラブルかつレジリエントなデータ通信の今後のあり方をどのように形作るか？

主な発見

• 既存のメッセージブローカーは、GenAIワークロードに対して顕著な制限を示しており、例えばGoogle Cloud Pub/Subでは10MB、Azure Storage Queueでは64KBという厳しいメッセージサイズ制限があり、Amazon MQでは最大1,000件の接続制限がある。また、一部の構成では配信の確実性が保証されない。
• Apache Kafka や RabbitMQ はクラスタリング、フェイルセーフ性、永続ストレージの両面で強くサポートしており、スケーリング制限が隠されているマネージドクラウドサービスよりも、生産用GenAIパイプラインに適している。
• Google Cloud Pub/Sub や Amazon Kinesis といったプロプライエタリブローカーは、大規模なGenAI展開において、データサイズ制限と高負荷時のレート制限動作により制限を受ける。
• マルチプロトコル通信、分散トレーシング、リアルタイムストリーム分析をネイティブにサポートするブローカー（例：Apache Kafka、Amazon Kinesis）は、複雑なGenAIデータパイプラインにおいてより高い適応性を示す。
• 現在のGenAIインfraストラクチャにおいて、メッセージブローカー相互運用性および動的構成のための標準的で拡張可能なフレームワークの欠如が、主なギャップである。
• 提案されたメッセージブローカー枠組みには、動的メッセージルーティング、プッシュおよびプル両方のモデルのサポート、リアルタイム監視といった高度な機能を統合し、GenAIシステムにおける高品質のサービス（QoS）を確保する必要がある。