[论文解读] ModelHub: Towards Unified Data and Lifecycle Management for Deep Learning

Hui Miao, Ang Li+2 more|arXiv (Cornell University)|Nov 18, 2016

Data Quality and Management参考文献 23被引用 11

一句话总结

ModelHub 提出了一套统一的深度学习数据与生命周期管理方案，引入了一种用于模型探索的领域特定语言（DSL），以及一种新型的参数归档存储（PAS），该存储采用多分辨率差分编码技术，以最小化存储占用并加速查询性能。该系统支持高效的版本控制、渐进式推理与可扩展的模型管理，实验结果表明在查询评估中实现了高压缩比与低误差率。

ABSTRACT

Deep learning has improved state-of-the-art results in many important fields, and has been the subject of much research in recent years, leading to the development of several systems for facilitating deep learning. Current systems, however, mainly focus on model building and training phases, while the issues of data management, model sharing, and lifecycle management are largely ignored. Deep learning modeling lifecycle generates a rich set of data artifacts, such as learned parameters and training logs, and comprises of several frequently conducted tasks, e.g., to understand the model behaviors and to try out new models. Dealing with such artifacts and tasks is cumbersome and largely left to the users. This paper describes our vision and implementation of a data and lifecycle management system for deep learning. First, we generalize model exploration and model enumeration queries from commonly conducted tasks by deep learning modelers, and propose a high-level domain specific language (DSL), inspired by SQL, to raise the abstraction level and accelerate the modeling process. To manage the data artifacts, especially the large amount of checkpointed float parameters, we design a novel model versioning system (dlv), and a read-optimized parameter archival storage system (PAS) that minimizes storage footprint and accelerates query workloads without losing accuracy. PAS archives versioned models using deltas in a multi-resolution fashion by separately storing the less significant bits, and features a novel progressive query (inference) evaluation algorithm. Third, we show that archiving versioned models using deltas poses a new dataset versioning problem and we develop efficient algorithms for solving it. We conduct extensive experiments over several real datasets from computer vision domain to show the efficiency of the proposed techniques.

研究动机与目标

• 为解决当前深度学习系统仅关注模型训练与构建，缺乏集成化数据与生命周期管理的问题。
• 减轻在迭代模型开发过程中追踪模型变体、超参数与性能指标的负担。
• 在不牺牲查询或检索性能的前提下，实现大规模深度神经网络参数的紧凑高效存储。
• 通过一种类似 SQL 的 DSL 支持高层级、声明式的模型探索，用于查询模型行为与性能。
• 通过高效的渐进式查询评估算法，解决由压缩参数带来的新型数据集版本管理问题。

提出的方法

• 设计一种受 SQL 启发的高层领域特定语言（DSL），用于表达模型探索与枚举查询，抽象出底层训练与调优逻辑。
• 实现一种模型版本控制系统（dlv），用于追踪训练迭代过程中的模型快照、超参数与性能指标。
• 开发一种读优化的参数归档存储（PAS），通过多分辨率差分编码技术存储模型权重，分离并压缩较低有效位。
• 提出一种渐进式查询评估算法，基于扰动误差分析，逐级检索与解码参数精度。
• 采用高阶基于分段的误差估计方法，确定何时需要低阶字节，从而最小化推理过程中不必要的精度。
• 应用扰动分析评估精度降低对模型准确率的影响，指导存储与检索决策。

实验结果

研究问题

• RQ1 如何将模型探索与枚举抽象为高层级、声明式接口，以加速深度学习开发？
• RQ2 如何以最小存储占用与低查询延迟，高效地存储与检索大规模深度神经网络参数？
• RQ3 如何优化基于差分压缩的模型参数存储，以兼顾存储效率与渐进式查询评估性能？
• RQ4 在归档的模型参数中，精度降低与预测准确率之间的权衡是什么？如何实现定量管理？
• RQ5 如何高效管理与查询带版本的模型数据，以支持迭代式模型开发与对比？

主要发现

• 所提出的 DSL 显著降低了模型探索的复杂性，通过在模型变体、超参数与性能指标上进行声明式查询，实现高效探索。
• PAS 存储系统通过利用模型参数的多分辨率差分编码，实现了高压缩比，显著减少存储占用，且不损失准确性。
• 基于扰动分析的渐进式查询评估表明，仅不到 1% 的测试数据需要完整精度的低阶字节，验证了基于差分编码方法的高效性。
• 该系统在真实世界计算机视觉模型上将存储需求最高降低了 80%，同时保持了近乎相同的推理准确率。
• 渐进式查询算法通过仅检索必要精度的比特，加速了推理工作负载，减少了 I/O 与解码开销。
• 实验结果表明，该方法在多种数据集与模型架构上均表现有效，存储与查询效率均实现一致的性能提升。