[論文レビュー] AI-oriented Medical Workload Allocation for Hierarchical Cloud/Edge/Device Computing

Tianshu Hao, Jianfeng Zhan+3 more|arXiv (Cornell University)|Feb 10, 2020

IoT and Edge/Fog Computing参考文献 28被引用数 4

ひとこと要約

本論文は、緊急医療現場における階層的クラウド/エッジ/デバイスシステムにおいて、AI指向のワークロード割り当て戦略を提案し、処理および伝送遅延に基づいて、生命予後予測や呼吸困難アラートなどの医療AIワークロードを最も適切な層（クラウド、エッジ、デバイス）に動的に割り当てることで応答時間を最適化する。この手法により、固定層への配置戦略と比較して、合計応答時間を最大63％短縮することができる。

ABSTRACT

In a hierarchically-structured cloud/edge/device computing environment, workload allocation can greatly affect the overall system performance. This paper deals with AI-oriented medical workload generated in emergency rooms (ER) or intensive care units (ICU) in metropolitan areas. The goal is to optimize AI-workload allocation to cloud clusters, edge servers, and end devices so that minimum response time can be achieved in life-saving emergency applications. In particular, we developed a new workload allocation method for the AI workload in distributed cloud/edge/device computing systems. An efficient scheduling and allocation strategy is developed in order to reduce the overall response time to satisfy multi-patient demands. We apply several ICU AI workloads from a comprehensive edge computing benchmark Edge AIBench. The healthcare AI applications involved are short-of-breath alerts, patient phenotype classification, and life-death threats. Our experimental results demonstrate the high efficiency and effectiveness in real-life health-care and emergency applications.

研究の動機と目的

• 三層構造のクラウド/エッジ/デバイスアーキテクチャ内における遅延に敏感な医療AIアプリケーションにおける応答時間を最小化する課題に対処する。
• 計算能力およびネットワーク状態に基づいて、個々の医療AIワークロードの最適なデプロイメント層（クラウド、エッジ、またはデバイス）を特定する。
• 複数の同時実行医療AIジョブを最小限の合計応答時間および最終完了応答時間で処理するためのスケジューリング戦略を開発する。
• 実世界のICUデータセットおよびエッジAIベンチマークを用いて、提案戦略の臨床的関連性と実用的有効性を評価する。

提案手法

• 応答時間を、デバイスの計算能力に依存する処理時間と、ネットワーク帯域幅に依存する伝送時間の合計として形式化する。
• 三層間の計算負荷と通信オーバーヘッドのトレードオフとしてワークロード割り当てをモデル化する。
• 解析的遅延推定を用いてエンドツーエンド応答時間を最小化するデプロイメント層を選択する単一ジョブ最適化アルゴリズムを提案する。
• 累積応答時間を最小化するためのジョブシーケンシングを優先する、ヒューリスティックに基づくスケジューリングアルゴリズムを設計する。
• エッジAIベンチ（Edge AIBench）からのワークロード特徴抽出を統合し、患者のプロフィール分類や生命脅威検出などの実際の医療AIワークロードを含む。
• 数値解析とシミュレーションを用いて、提案戦略を固定デプロイメント戦略（例：すべてクラウド、エッジ、またはデバイスに配置）と比較する。

実験結果

リサーチクエスチョン

• RQ1 階層的クラウド/エッジ/デバイスシステムにおける単一のAIワークロードの最適なデプロイメント層（クラウド、エッジ、デバイス）は何か？ これは応答時間を最小化するためのものである。
• RQ2 複数ジョブの医療AIシナリオにおいて、層間での動的ワークロード割り当てが合計応答時間に与える影響は何か？
• RQ3 複数の遅延に敏感な医療AIジョブが順次処理される場合、全体の応答時間を最小化するスケジューリング戦略は何か？
• RQ4 ICUアプリケーションにおいて、提案された割り当て戦略は固定層デプロイメント戦略と比較して、応答時間の短縮率でどの程度優れているか？

主な発見

• 提案されたワークロード割り当て戦略は、合計応答時間を150単位にまで短縮し、1ジョブあたり最適層にデプロイした場合の227単位と比較して33％低い結果を達成した。
• 最終完了時間は43単位にまで短縮され、クラウドサーバーへのデプロイメント（74単位）と比較して63％の改善を達成した。
• すべてのジョブをエッジサーバーにデプロイした場合と比較して、提案手法は応答時間を63％短縮した（416対150単位）。
• 合計応答時間および最終応答時間の両面で、エンドデバイス（366単位）やエッジサーバー（416単位）へのデプロイメントを含むすべてのベースライン手法を上回った。
• 結果から、ワークロードの特性とシステム制約に基づく動的層選択が、静的デプロイメントに比べて顕著に性能向上をもたらすことが示された。
• ヒューリスティックスケジューリングアルゴリズムは、優先順位の高い医療ワークロードを伴う高並列処理シナリオにおいて、ジョブキューイング遅延を効果的に低減した。