[论文解读] Ekya: Continuous Learning of Video Analytics Models on Edge Compute Servers

Romil Bhardwaj, Zhengxu Xia+7 more|arXiv (Cornell University)|Dec 19, 2020

Advanced Neural Network Applications参考文献 57被引用 21

一句话总结

Ekya 是一种系统，通过联合优化推理与再训练工作负载，实现在边缘服务器上持续学习视频分析模型。它使用微型性能分析器和性能预测器来优先处理再训练任务并分配 GPU 资源，在仅使用四分之一的 GPU 资源的情况下，相比基线系统实现了 29% 的平均推理准确率提升。

ABSTRACT

Video analytics applications use edge compute servers for the analytics of the videos (for bandwidth and privacy). Compressed models that are deployed on the edge servers for inference suffer from data drift, where the live video data diverges from the training data. Continuous learning handles data drift by periodically retraining the models on new data. Our work addresses the challenge of jointly supporting inference and retraining tasks on edge servers, which requires navigating the fundamental tradeoff between the retrained model's accuracy and the inference accuracy. Our solution Ekya balances this tradeoff across multiple models and uses a micro-profiler to identify the models that will benefit the most by retraining. Ekya's accuracy gain compared to a baseline scheduler is 29% higher, and the baseline requires 4x more GPU resources to achieve the same accuracy as Ekya.

研究动机与目标

• 解决由于视频特征变化导致的数据漂移问题，维持边缘视频分析系统中的高推理准确率。
• 在资源受限的边缘服务器上，平衡再训练准确率与推理准确率之间的权衡。
• 联合优化再训练与推理调度，包括模型选择、资源分配和超参数配置。
• 确保在再训练期间推理准确率始终高于最低阈值。
• 在多个视频流的再训练周期内，最大化平均推理准确率。

提出的方法

• 引入微型性能分析器，基于数据漂移和性能趋势识别最可能从再训练中受益的模型。
• 采用性能预测器，以低开销预测不同再训练与推理配置的准确率和资源使用情况。
• 使用资源调度器，对大规模的配置与分配决策空间进行剪枝，聚焦于高影响力的再训练任务。
• 应用持续学习技术（如迁移学习和增量训练），在不发生灾难性遗忘的情况下使模型适应新数据。
• 通过优先处理单位资源带来最高准确率增益的再训练任务，优化多模型间的调度。
• 强制执行最低推理准确率约束，确保再训练期间系统的可靠性。

实验结果

研究问题

• RQ1 当实时视频数据因数据漂移而偏离训练数据时，边缘视频分析系统如何维持高推理准确率？
• RQ2 在资源受限的边缘服务器上，再训练准确率与推理准确率之间的最优权衡是什么？
• RQ3 在高维决策空间下，系统如何高效选择需要再训练的模型及使用何种配置？
• RQ4 轻量级性能预测器与微型性能分析器能否降低再训练开销，同时提升整体系统准确率？
• RQ5 联合调度方法在准确率和资源效率方面相比基线调度器能提升多少？

主要发现

• Ekya 相较于不使用智能优先级调度的基线调度器，实现了 29% 的平均推理准确率提升。
• 基线调度器需要 4 倍的 GPU 资源才能达到 Ekya 的推理准确率，证明了 Ekya 在资源效率上的显著优势。
• 微型性能分析器成功识别出最可能从再训练中受益的模型，减少了在低影响力模型上的无效计算。
• 性能预测器能够以极低的运行时开销准确预测再训练结果，使实时调度成为可能。
• Ekya 在整个再训练周期内始终保持推理准确率高于最低阈值，确保了应用的可靠性。
• 该系统能有效应对多种视频流中的数据漂移，包括城市交通和智能汽车场景，其中物体外观和环境条件存在显著变化。