[论文解读] Differentiate Quality of Experience Scheduling for Deep Learning Applications with Docker Containers in the Cloud

Ying Mao, Weifeng Yan+5 more|arXiv (Cornell University)|Jan 1, 2020

IoT and Edge/Fog Computing参考文献 18被引用 2

一句话总结

本文提出 DQoES，一种用于 Docker 化云环境中的深度学习工作负载的动态资源调度器，其优先考虑用户体验质量（QoE）而非成本。通过根据客户端指定的 QoE 目标（如响应时间）调整 CPU 和 GPU 分配，DQoES 在并发工作负载中实现的满意模型数量相比基线系统最多提升 8 倍。

ABSTRACT

With the prevalence of big-data-driven applications, such as face recognition on smartphones and tailored recommendations from Google Ads, we are on the road to a lifestyle with significantly more intelligence than ever before. For example, Aipoly Vision [1] is an object and color recognizer that helps the blind, visually impaired, and color blind understand their surroundings. At the back end side of their intelligence, various neural networks powered models are running to enable quick responses to users. Supporting those models requires lots of cloud-based computational resources, e.g. CPUs and GPUs. The cloud providers charge their clients by the amount of resources that they occupied. From clients' perspective, they have to balance the budget and quality of experiences (e.g. response time). The budget leans on individual business owners and the required Quality of Experience (QoE) depends on usage scenarios of different applications, for instance, an autonomous vehicle requires realtime response, but, unlocking your smartphone can tolerate delays. However, cloud providers fail to offer a QoE based option to their clients. In this paper, we propose DQoES, a differentiate quality of experience scheduler for deep learning applications. DQoES accepts client's specification on targeted QoEs, and dynamically adjust resources to approach their targets. Through extensive, cloud-based experiments, DQoES demonstrates that it can schedule multiple concurrent jobs with respect to various QoEs and achieve up to 8x times more satisfied models compared to the existing system.

研究动机与目标

• 解决云平台在深度学习工作负载中缺乏以用户体验质量（QoE）为导向的资源分配问题。
• 使客户端能够为其应用指定期望的 QoE 目标（例如响应时间），如自动驾驶车辆的实时推理或智能手机解锁的容许延迟。
• 开发一种调度器，动态分配云资源（CPU/GPU），以满足多个并发作业中多样化 QoE 要求。
• 通过基于 QoE 而非仅成本的资源分配优化，提升客户端满意度。

提出的方法

• 设计一种调度器，接收客户端为单个深度学习推理任务指定的 QoE 目标（例如最大响应时间）。
• 根据任务的 QoE 目标和当前工作负载状况，动态调整每个容器化任务的资源分配（CPU 和 GPU）。
• 使用反馈机制监控任务响应时间，并实时调整资源分配以达成 QoE 目标。
• 通过按紧迫性和延迟敏感度成比例分配资源，优先处理具有更严格 QoE 要求的任务。
• 与 Docker 容器集成，以实现云中深度学习模型的轻量级、隔离式执行。
• 在确保满足 QoE 目标的同时，平衡多个并发任务的资源利用率。

实验结果

研究问题

• RQ1 调度器能否在容器化环境中动态分配云资源，以满足深度学习应用多样化的用户体验质量（QoE）目标？
• RQ2 当多个具有不同 QoE 要求的任务并发运行时，所提出的 DQoES 调度器与现有系统相比在客户端满意度方面表现如何？
• RQ3 动态资源分配在不增加总体资源成本的前提下，能在多大程度上提升 QoE？

主要发现

• DQoES 成功调度了在云环境中具有不同 QoE 要求的多个并发深度学习任务。
• 与基线系统相比，该调度器实现的满意模型数量最多提升 8 倍，衡量标准为是否满足客户端指定的响应时间目标。
• 通过动态调整 CPU 和 GPU 分配，DQoES 在保持自动驾驶等时间敏感型应用高 QoE 的同时，高效管理了要求不那么严格的负载。
• 该系统在不增加总体资源消耗的前提下显著提升了客户端满意度，表明其资源利用效率高。
• 该方法在多种使用场景中均表现有效，从实时推理到容许延迟的应用均适用，证明了其高度的适应性。