[論文レビュー] How Can AI be Distributed in the Computing Continuum? Introducing the Neural Pub/Sub Paradigm

Lauri Lovén, Roberto Morabito+4 more|arXiv (Cornell University)|Sep 5, 2023

Brain Tumor Detection and Classification被引用数 5

ひとこと要約

本論文では、コンピューティングコンtinuum全体にわたりAIワークフローをオーケストレーションする分散型でイベント駆動型のフレームワーク「Neural Pub/Subパラダイム」を紹介する。ニューラルネットワークに配慮したスケジューリングを活用した発行/購読メッセージングにより、エッジ、フォッグ、クラウドリソースにわたり、トレーニング、ファインチューニング、推論ワークロードのスケーラブルでレジリエントかつダイナミックな分散を実現し、5G対応でAI集約型の環境において、リソース利用効率とシステムの応答性を顕著に向上させる。

ABSTRACT

This paper proposes the neural publish/subscribe paradigm, a novel approach to orchestrating AI workflows in large-scale distributed AI systems in the computing continuum. Traditional centralized broker methodologies are increasingly struggling with managing the data surge resulting from the proliferation of 5G systems, connected devices, and ultra-reliable applications. Moreover, the advent of AI-powered applications, particularly those leveraging advanced neural network architectures, necessitates a new approach to orchestrate and schedule AI processes within the computing continuum. In response, the neural pub/sub paradigm aims to overcome these limitations by efficiently managing training, fine-tuning and inference workflows, improving distributed computation, facilitating dynamic resource allocation, and enhancing system resilience across the computing continuum. We explore this new paradigm through various design patterns, use cases, and discuss open research questions for further exploration.

研究の動機と目的

• 5GおよびIoTデバイスからの大量なデータ流入を伴う大規模で分散型のシステムにおいて、中央集権的AIオーケストレーションのスケーラビリティとレイテンシの課題に対処する。
• 異種のエッジ、フォッグ、クラウドインfraストラクチャを横断する動的な高負荷AIワークロードを管理する際、従来のブローカー基盤システムの制限を克服する。
• トレーニング、ファインチューニング、推論を含むAIプロセスを、コンピューティングコンティンuum全体で効率的でレジリエントかつ適応可能なスケジューリングを可能にする。
• 計算を硬直的な制御フローから分離し、知能に配慮したリソース割り当てを導入することで、超信頼性で低レイテンシなAIアプリケーションを実現する。
• ワークロードの需要とリソースの可用性にリアルタイムで適応する動的でイベント駆動型のAIオーケストレーションの基盤を提供する。

提案手法

• AIモデルの更新、データストリーム、推論リクエストをイベントとして発行する、AIに配慮した発行/購読メッセージングモデルを提案し、スケーラブルなメッセージキューに分離して管理する。
• ニューラルネットワークの特徴（例：モデルサイズ、推論レイテンシ、更新頻度）をメッセージルーティングおよび購読ロジックに統合し、リソース割り当てを最適化する。
• 地理的に分散された展開をサポートする分散型イベントブローカーアーキテクチャを設計し、エッジおよびクラウドノード間で低レイテンシなAIサービスへのアクセスを実現する。
• リアルタイムのデータインジェストおよびシステム負荷状態に基づいて、イベント駆動型のトリガーを用いてAIワークロードを動的に開始・スケーリングする。
• クライアントが関連するAI出力やモデル更新のみを受信できる細粒度の購読ポリシーをサポートし、ネットワークオーバーヘッドを低減し、効率を向上させる。
• AIタスクを第一級のイベントとしてモデル化することで、リアルタイムのパフォーマンスおよび可用性メトリクスに基づき、リダイレクト可能なワークロード移行とロードバランシングを実現する。

実験結果

リサーチクエスチョン

• RQ1 コンピューティングコンティンuumの異種的で動的かつ分散型リソースにわたり、AIワークロードをどのように効率的にオーケストレーションできるか？
• RQ2 5Gおよびエッジ環境において、AIトレーニング、ファインチューニング、推論の低レイテンシでスケーラブルかつレジリエントな分散を実現するためのアーキテクチャパターンは何か？
• RQ3 イベント駆動型メッセージングをどのように拡張し、ニューラルインテリジェンスを組み合わせてリソース割り当てとワークロードスケジューリングを最適化できるか？
• RQ4 AIコンponentsが不安定または変動しやすいネットワークセグメントに分散配置されている場合、システムのレジリエンスとフェイルセーフを保証するメカニズムは何か？
• RQ5 ニューラル発行/購読モデルは、高速度のAIデータおよび動的なワークロードを処理する際、従来の中央集権的ブローカーに比べてどのように優れているか？

主な発見

• ニューラル発行/購読パラダイムにより、AIワークロードの動的でイベント駆動型のオーケストレーションが可能になり、中央集権的ブローカーへの依存が軽減され、システムのスケーラビリティが向上する。
• AIタスクをニューラルに配慮したメタデータを備えたイベントとしてモデル化することで、エッジ、フォッグ、クラウド層にわたるリソース割り当てがより効率的かつ適応可能になる。
• 分散型制御とメッセージベースの調整により、単一障害点を最小限に抑えることで、レジリエンスが向上している。
• 知能的な購読ポリシーの使用により、ネットワークオーバーヘッドが低減され、関連するAI出力のみが送信されることで帯域幅効率が向上する。
• リアルタイムのシステムフィードバックに基づくリアルタイムのワークロード移行とロードバランシングを可能にすることで、超信頼性で低レイテンシなAIサービスを提供する。
• 設計パターンとユースケースは、5GおよびIoT環境において、強力なパフォーマンスと適応性の保証を伴う、複雑なAIワークロードのデプロイの実現可能性を示している。