[论文解读] Comprehensive and Efficient Data Labeling via Adaptive Model Scheduling

Mu Yuan, Lan Zhang+2 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Neural Network Applications参考文献 36被引用 4

一句话总结

该论文提出了一种自适应模型调度框架，利用深度强化学习预测未执行模型的价值，并动态调度模型执行，以在资源和延迟约束下最大化高置信度标签的提取。在五个图像数据集和30个模型上评估，处理速度提升53%且标签质量无损失，显著提高了综合数据标注工作流的效率。

ABSTRACT

Labeling data (e.g., labeling the people, objects, actions and scene in images) comprehensively and efficiently is a widely needed but challenging task. Numerous models were proposed to label various data and many approaches were designed to enhance the ability of deep learning models or accelerate them. Unfortunately, a single machine-learning model is not powerful enough to extract various semantic information from data. Given certain applications, such as image retrieval platforms and photo album management apps, it is often required to execute a collection of models to obtain sufficient labels. With limited computing resources and stringent delay, given a data stream and a collection of applicable resource-hungry deep-learning models, we design a novel approach to adaptively schedule a subset of these models to execute on each data item, aiming to maximize the value of the model output (e.g., the number of high-confidence labels). Achieving this lofty goal is nontrivial since a model's output on any data item is content-dependent and unknown until we execute it. To tackle this, we propose an Adaptive Model Scheduling framework, consisting of 1) a deep reinforcement learning-based approach to predict the value of unexecuted models by mining semantic relationship among diverse models, and 2) two heuristic algorithms to adaptively schedule the model execution order under a deadline or deadline-memory constraints respectively. The proposed framework doesn't require any prior knowledge of the data, which works as a powerful complement to existing model optimization technologies. We conduct extensive evaluations on five diverse image datasets and 30 popular image labeling models to demonstrate the effectiveness of our design: our design could save around 53\% execution time without loss of any valuable labels.

研究动机与目标

• 为利用多个计算密集型深度学习模型高效且全面地标注大规模数据提供解决方案。
• 在最小化计算浪费和执行时间的同时，最大化从每个数据项中提取的高置信度标签数量。
• 开发一种无需事先了解数据内容的框架，能够根据内容相关的模型输出实时自适应调整模型调度。
• 提供一种轻量级、正交的解决方案，可与现有的模型优化和加速技术互补。
• 实现在移动照片应用和实时数据处理流水线等资源受限环境中的实际部署。

提出的方法

• 通过学习的模型关系图，训练一个深度强化学习（DRL）智能体，以挖掘跨多种模型的语义关系，预测未执行模型的价值。
• 该框架构建模型关系图，以编码模型间的依赖关系和相似性，从而实现对哪些模型将产生高价值输出的明智预测。
• 提出两种启发式调度算法：一种用于截止时间受限场景，另一种用于截止时间-内存双重受限环境，基于预测价值优化模型执行顺序。
• DRL智能体计算开销极低——每次决策仅需3–6ms推理时间及100MB CPU内存，适合实时部署。
• 按每个数据项动态调度模型执行，通过预测哪些模型将产生有价值且高置信度的标签，避免不必要的运行。
• 系统无需事先了解数据分布，可实时适应内容相关的模型行为。

实验结果

研究问题

• RQ1 在内容相关、数据无关的环境中，如何预测未执行模型的价值，以避免不必要的计算？
• RQ2 在严格的时间和内存约束下，何种调度策略能最大化提取的高置信度标签数量？
• RQ3 如何有效建模并利用多种深度学习模型之间的语义关系，以提高模型效用预测的准确性？
• RQ4 轻量级基于DRL的框架能否在不牺牲真实世界数据标注工作负载中标签完整性的前提下，实现显著的效率提升？
• RQ5 在大规模模型执行流水线中，调度智能与计算开销之间的权衡是什么？

主要发现

• 所提出的框架在五个不同的图像数据集上平均将模型执行时间减少了约53%，且未丢失任何有价值的标签。
• DRL智能体在每次决策仅需3–6ms推理时间的前提下，对未执行模型价值的预测准确率很高，适合实时部署。
• 模型关系图实现了模型间知识的有效迁移，即使在训练数据有限的情况下也能提高预测的可靠性。
• 启发式调度算法在标签质量和效率方面显著优于随机或固定顺序执行等基线策略。
• 该框架计算开销极低，仅消耗100MB CPU内存，远低于每个深度学习模型500MB–8GB的GPU内存占用，确保了极低的额外开销。
• 该方法与现有模型优化技术正交，可无缝集成到现有数据标注流水线中以提升性能。