[论文解读] Cloudy with high chance of DBMS: A 10-year prediction for Enterprise-Grade ML

Ashvin Agrawal, Rony Chatterjee+20 more|arXiv (Cornell University)|Aug 30, 2019

Data Quality and Management参考文献 29被引用 12

一句话总结

本文提出了一种面向企业级机器学习（EGML）的统一数据库中心化架构，整合了云上模型训练、通过扩展的SQL代数在DBMS内执行推理，以及跨SQL和Python系统的端到端血缘追踪。该工作引入了一个基于目录的血缘追踪框架，包含SQL和Python模块，用于捕获数据血缘、模型依赖关系和版本控制，在Kaggle数据集上实现95%的模型覆盖率，在微软内部数据集上实现100%覆盖率。

ABSTRACT

Machine learning (ML) has proven itself in high-value web applications such as search ranking and is emerging as a powerful tool in a much broader range of enterprise scenarios including voice recognition and conversational understanding for customer support, autotuning for videoconferencing, intelligent feedback loops in large-scale sysops, manufacturing and autonomous vehicle management, complex financial predictions, just to name a few. Meanwhile, as the value of data is increasingly recognized and monetized, concerns about securing valuable data and risks to individual privacy have been growing. Consequently, rigorous data management has emerged as a key requirement in enterprise settings. How will these trends (ML growing popularity, and stricter data governance) intersect? What are the unmet requirements for applying ML in enterprise settings? What are the technical challenges for the DB community to solve? In this paper, we present our vision of how ML and database systems are likely to come together, and early steps we take towards making this vision a reality.

研究动机与目标

• 应对企业级机器学习应用中日益增长的数据治理、模型公平性和隐私保护需求。
• 识别在受监管、数据敏感环境中规模化机器学习所面临的未满足技术挑战。
• 提出一种原生数据库方法，将机器学习生命周期管理——包括训练、推理和治理——统一于单一安全基础设施中。
• 在异构系统（SQL与Python）之间实现端到端的数据与模型血缘追踪，以支持可审计性和合规性。
• 将机器学习评分直接集成到DBMS查询引擎中，避免数据外泄，提升性能与安全性。

提出的方法

• 设计三层架构：基于云的模型训练、通过扩展的关系代数在DBMS中执行的原生推理，以及通过目录实现的集中化治理。
• 使用Apache Calcite实现SQL血缘模块，解析查询并提取粗粒度血缘信息（输入表/列），支持立即捕获和延迟捕获两种模式。
• 将版本化的血缘数据存储在集中式目录（Apache Atlas）中，以支持时间追踪和跨系统关联。
• 通过静态分析和经整理的机器学习API知识库，开发Python血缘模块，识别模型训练代码、特征、超参数和数据源。
• 通过目录将SQL输入表与Python训练数据集关联，实现跨系统血缘追踪，确保从原始数据到模型输出的完整血缘链。
• 应用数据压缩与摘要技术，优化血缘存储并降低大规模捕获场景下的延迟。

实验结果

研究问题

• RQ1 如何在不移动数据的前提下，高效且安全地在DBMS内执行机器学习推理？
• RQ2 在企业环境中，如何在SQL与Python系统之间实现端到端数据与模型血缘追踪，其关键技术挑战是什么？
• RQ3 数据库系统应如何演进，以原生支持受监管环境中的完整机器学习生命周期——包括训练、推理与治理？
• RQ4 在多样化、大规模工作负载下，捕获细粒度血缘的性能与可扩展性特征如何？
• RQ5 在高速数据与模型更新场景下，如何在实践中实现血缘捕获的准确性与高效性？

主要发现

• SQL血缘模块对2,208个TPC-H查询和2,200个TPC-C查询分别实现了平均110秒和124秒的延迟，生成的血缘图最大达34,785个节点与边。
• 血缘数据模型的规模可能显著增长——例如，当表版本数与插入次数相当，凸显了压缩与摘要技术的必要性。
• Python血缘模块在Kaggle数据集上实现了95%的模型覆盖率和61%的训练数据集覆盖率，在生产级微软内部数据集上实现100%覆盖率。
• 通过集中式目录实现SQL与Python血缘的集成，支持跨系统血缘追踪，对合规性与模型重训练触发机制至关重要。
• 系统证明了将机器学习治理嵌入DBMS的可行性，初步结果表明在真实工作负载下，血缘捕获既可扩展又准确。
• 该方法支持关键治理需求，如GDPR合规、模型偏见审计以及通过可追溯的数据血缘实现可解释性，从源头到推理全程可追踪。