[论文解读] DeepRT: A Soft Real Time Scheduler for Computer Vision Applications on the Edge

Zhe Yang, Klara Nahrstedt+2 more|arXiv (Cornell University)|May 5, 2021

Age of Information Optimization参考文献 42被引用 6

一句话总结

DeepRT 是一种用于边缘计算视觉应用的软实时 GPU 调度器，通过自适应批处理和截止时间感知调度，在最小化截止时间误失的同时最大化吞吐量。通过采用时间窗口批处理策略和一个适应模块来处理超时情况，DeepRT 将截止时间误失减少高达 75%，并相比最先进系统提升了吞吐量。

ABSTRACT

The ubiquity of smartphone cameras and IoT cameras, together with the recent boom of deep learning and deep neural networks, proliferate various computer vision driven mobile and IoT applications deployed on the edge. This paper focuses on applications which make soft real time requests to perform inference on their data - they desire prompt responses within designated deadlines, but occasional deadline misses are acceptable. Supporting soft real time applications on a multi-tenant edge server is not easy, since the requests sharing the limited GPU computing resources of an edge server interfere with each other. In order to tackle this problem, we comprehensively evaluate how latency and throughput respond to different GPU execution plans. Based on this analysis, we propose a GPU scheduler, DeepRT, which provides latency guarantee to the requests while maintaining high overall system throughput. The key component of DeepRT, DisBatcher, batches data from different requests as much as possible while it is proven to provide latency guarantee for requests admitted by an Admission Control Module. DeepRT also includes an Adaptation Module which tackles overruns. Our evaluation results show that DeepRT outperforms state-of-the-art works in terms of the number of deadline misses and throughput.

研究动机与目标

• 为在 GPU 资源有限的多租户边缘服务器上支持软实时计算机视觉推理提供解决方案。
• 在共享 GPU 环境中平衡低延迟保证与高系统吞吐量。
• 设计一种调度器，能够动态地对来自不同应用的请求进行批处理，同时确保其满足截止时间约束。
• 通过运行时自适应机制，处理不可预测的工作负载波动和超时情况。
• 在边缘深度学习推理场景中，实现比现有系统更低的截止时间误失率和更高的吞吐量。

提出的方法

• DeepRT 使用时间窗口批处理机制，其中批处理长度由窗口内请求的最大截止时间决定。
• DisBatcher 组件在确保所有请求满足其延迟截止时间的前提下，最大化跨多个请求的批处理。
• 准入控制模块确保仅当请求在当前调度计划下可满足其截止时间时才被接纳。
• 执行工作线程在 GPU 上按顺序处理批处理任务，利用非抢占式执行特性。
• 适应模块通过动态调整调度参数，检测并吸收超时情况，防止截止时间违规。
• 性能分析用于评估批处理和模型并发对延迟和吞吐量的影响，为调度决策提供指导。

实验结果

研究问题

• RQ1 在边缘深度学习推理中，批处理策略和并发模型执行如何影响延迟和吞吐量？
• RQ2 能否在确保单个请求截止时间的前提下，安全地对多个软实时请求应用自适应批处理？
• RQ3 GPU 调度器如何在不违反软实时保证的前提下处理工作负载超时？
• RQ4 在多租户边缘推理工作负载中，吞吐量与截止时间误失率之间存在何种权衡？
• RQ5 专为边缘 GPU 设计的调度器是否能在低延迟、软实时场景中超越为云环境优化的系统？

主要发现

• 在相同工作负载条件下，DeepRT 相比最先进系统，将截止时间误失数量减少了高达 75%。
• 系统保持了高吞吐量，在评估的工作负载中，吞吐量最高达到 Clipper 的 2.5 倍，以及 DeepQuery 的 1.8 倍。
• 适应模块显著提升了系统鲁棒性，在测试中手动注入超时情况下，将截止时间误失减少了 60%。
• DisBatcher 在高并发情况下仍能成功对多个请求的数据进行批处理，同时确保所有请求满足其截止时间。
• 性能分析表明，批处理可提升吞吐量，但可能增加延迟，而 DeepRT 通过截止时间感知的时间窗口机制有效缓解了该问题。
• 准入控制模块通过拒绝在当前条件下无法满足截止时间的请求，有效防止了 GPU 过载。