[论文解读] Towards Linear Algebra over Normalized Data

Lingjiao Chen, Arun Kumar+2 more|arXiv (Cornell University)|Dec 22, 2016

Advanced Database Systems and Queries参考文献 33被引用 5

一句话总结

本文提出了 Morpheus 框架，该框架可自动对规范化（多表）关系型数据上的线性代数（LA）操作进行因子分解，从而在无需物化反规范化表的情况下实现高效的机器学习（ML）。通过引入一种逻辑上的‘规范化矩阵’类型及代数重写规则，Morpheus 将基于线性代数的 ML 算法（如逻辑回归和 K-Means）转化为经过优化的、支持连接操作的计算，实测在真实数据上实现最高达 36 倍的性能提升，同时保持与现有 LA 系统的兼容性。

ABSTRACT

Providing machine learning (ML) over relational data is a mainstream requirement for data analytics systems. While almost all the ML tools require the input data to be presented as a single table, many datasets are multi-table, which forces data scientists to join those tables first, leading to data redundancy and runtime waste. Recent works on "factorized" ML mitigate this issue for a few specific ML algorithms by pushing ML through joins. But their approaches require a manual rewrite of ML implementations. Such piecemeal methods create a massive development overhead when extending such ideas to other ML algorithms. In this paper, we show that it is possible to mitigate this overhead by leveraging a popular formal algebra to represent the computations of many ML algorithms: linear algebra. We introduce a new logical data type to represent normalized data and devise a framework of algebraic rewrite rules to convert a large set of linear algebra operations over denormalized data into operations over normalized data. We show how this enables us to automatically "factorize" several popular ML algorithms, thus unifying and generalizing several prior works. We prototype our framework in the popular ML environment R and an industrial R-over-RDBMS tool. Experiments with both synthetic and real normalized data show that our framework also yields significant speed-ups, up to 36x on real data.

研究动机与目标

• 解决手动重写 ML 算法以在规范化数据上进行因子化执行所带来的高开发开销问题。
• 通过将线性代数作为通用表示语言，统一并推广先前零散的因子化 ML 方法。
• 在不修改底层 LA 系统的前提下，实现对规范化模式下 LA 基础 ML 工作负载的自动优化。
• 将因子化逻辑与执行平台解耦，确保与各类 LA 环境（如 R 和 RDBMS）的兼容性。
• 通过基于模式的 LA 优化实现性能提升，同时保持 LA 操作的正确性与封闭性。

提出的方法

• 引入一种新的逻辑数据类型——‘规范化矩阵’，用于表示具有主键-外键或 M:N 关系的多表数据。
• 设计了一套全面的代数重写规则，将原本作用于反规范化数据的 LA 操作（如矩阵乘法、转置、行求和）转换为等价的、作用于规范化基表的操作。
• 采用启发式决策规则，利用输入统计信息预测因子化 LA 版本是否能优于反规范化版本。
• 构建中间件框架 Morpheus，自动应用这些重写规则于 LA 脚本，实现透明优化。
• 通过保持封闭性，与现有 LA 系统（如 R、Oracle R Enterprise、SystemML）集成，避免对 LA 操作符实现进行修改。
• 使用合成数据和真实世界的规范化数据集对框架进行验证，性能对比标准的反规范化 LA 执行方式。

实验结果

研究问题

• RQ1 线性代数能否作为统一的形式语言，系统性地对规范化关系型数据上的多样化 ML 算法进行因子分解？
• RQ2 如何设计代数重写规则，将作用于反规范化数据的 LA 操作转换为等价且高效的规范化基表操作？
• RQ3 哪些启发式规则可指导选择因子化 LA 而非反规范化 LA，以确保性能提升？
• RQ4 通用且可移植的框架在无需低层系统修改的前提下，能在多大程度上实现因子化 ML 的自动化？
• RQ5 因子化 LA 方法在真实和合成的规范化数据上的性能，与传统反规范化执行相比如何？

主要发现

• Morpheus 框架通过在 LA 表达式上应用代数重写规则，成功对多种流行 ML 算法（如逻辑回归、K-Means 和线性回归）实现了因子化。
• 通过避免物化反规范化表带来的冗余计算，该框架在真实世界规范化数据集上实现了最高达 36 倍的性能提升。
• 启发式决策规则能准确预测性能增益，确保仅在有益时才应用因子化执行。
• 该方法保持了线性代数的封闭性，使得与 R 和 Oracle R Enterprise 等现有 LA 系统的无缝集成成为可能，且无需修改其内部实现。
• 该框架推广并统一了先前零散的因子化 ML 技术，显著降低了手动重写算法的开发开销。
• 实验结果证实，性能优势在合成与真实规范化数据上均保持一致，证明了其实际可扩展性。