[論文レビュー] Differentiate Quality of Experience Scheduling for Deep Learning Applications with Docker Containers in the Cloud

Ying Mao, Weifeng Yan+5 more|arXiv (Cornell University)|Jan 1, 2020

IoT and Edge/Fog Computing参考文献 18被引用数 2

ひとこと要約

本稿では、Docker化されたクラウド環境におけるディープラーニングワークロード向けに、コストよりもエクスペリエンス品質（QoE）を最優先する動的リソーススケジューラDQoESを提案する。クライアントが指定したQoE目標（例：応答時間）に基づいてCPUおよびGPUの割り当てを調整することで、同時に実行されるワークロードにおいて、ベースラインシステムと比較して最大8倍の満足度の高いモデルを達成する。

ABSTRACT

With the prevalence of big-data-driven applications, such as face recognition on smartphones and tailored recommendations from Google Ads, we are on the road to a lifestyle with significantly more intelligence than ever before. For example, Aipoly Vision [1] is an object and color recognizer that helps the blind, visually impaired, and color blind understand their surroundings. At the back end side of their intelligence, various neural networks powered models are running to enable quick responses to users. Supporting those models requires lots of cloud-based computational resources, e.g. CPUs and GPUs. The cloud providers charge their clients by the amount of resources that they occupied. From clients' perspective, they have to balance the budget and quality of experiences (e.g. response time). The budget leans on individual business owners and the required Quality of Experience (QoE) depends on usage scenarios of different applications, for instance, an autonomous vehicle requires realtime response, but, unlocking your smartphone can tolerate delays. However, cloud providers fail to offer a QoE based option to their clients. In this paper, we propose DQoES, a differentiate quality of experience scheduler for deep learning applications. DQoES accepts client's specification on targeted QoEs, and dynamically adjust resources to approach their targets. Through extensive, cloud-based experiments, DQoES demonstrates that it can schedule multiple concurrent jobs with respect to various QoEs and achieve up to 8x times more satisfied models compared to the existing system.

研究の動機と目的

• ディープラーニングワークロードのクラウドプラットフォームにおけるエクスペリエンス品質（QoE）指向のリソース割り当ての欠如に対処すること。
• クライントがアプリケーションの望ましいQoE目標（例：応答時間）を指定できるようにすること。たとえば、自律走行車両のリアルタイム推論や、スマートフォンのアンロックに許容可能な遅延を含む用途。
• 複数の同時実行ジョブに対して、多様なQoE要件を満たすために、動的リソース（CPU/GPU）を割り当てるスケジューラを開発すること。
• QoEに基づいてリソース配分を最適化することで、コストのみに依存するのではなく、クライント満足度を向上させること。

提案手法

• クライントが個々のディープラーニング推論ジョブのQoE目標（例：最大応答時間）を指定できるスケジューラを設計する。
• ジョブのQoE目標と現在のワークロード状態に基づいて、各コンテナ化ジョブに対して動的にリソース割り当て（CPUおよびGPU）を調整する。
• ジョブの応答時間を監視するフィードバックメカニズムを用い、QoE目標を達成するためにリアルタイムでリソース割り当てを調整する。
• QoE要件が厳しいジョブを優先し、その緊急性および遅延感受性に応じてリソースを割り当てる。
• Dockerコンテナと統合して、クラウド上でのディープラーニングモデルの軽量かつ隔離された実行を可能にする。
• 複数の同時ジョブにおけるリソース利用をバランスさせつつ、QoE目標を満たす。

実験結果

リサーチクエスチョン

• RQ1 コンテナ環境において、動的リソース割り当てが、多様なエクスペリエンス品質（QoE）目標を満たすディープラーニングアプリケーションに適しているか。
• RQ2 複数の異なるQoE要件を持つジョブが同時に実行される状況で、提案されたDQoESスケジューラは、従来のシステムと比較してクライント満足度にどのように差をつけるか。
• RQ3 動的リソース割り当てにより、総合的なリソースコストを増加させずに、QoEをどの程度向上できるか。

主な発見

• DQoESは、クラウド環境において、多様なQoE要件を持つ複数の同時実行ディープラーニングジョブを効果的にスケジューリングできる。
• スケジューラは、クライントが指定した応答時間目標を満たすことで測定される、ベースラインシステムと比較して最大8倍の満足度の高いモデルを達成する。
• CPUおよびGPUの割り当てを動的に調整することで、自律走行車両のような時間に敏感なアプリケーションの高QoEを維持しながら、要求が緩いワークロードも効率的に管理する。
• 総合的なリソース消費量を増加させることなく、クライント満足度が顕著に向上しており、これは効率的なリソース利用を示している。
• 本アプローチは、リアルタイム推論から遅延許容アプリケーションまで多様な使用シナリオに有効であり、その適応性を実証している。