[论文解读] Dot-Product Join: An Array-Relation Join Operator for Big Model Analytics

Chengjie Qin, Florin Rusu|arXiv (Cornell University)|Feb 29, 2016

Graph Theory and Algorithms参考文献 43被引用 4

一句话总结

本文提出了一种新型数据库操作符——点积连接（dot-product join），该操作符可高效执行超出主内存的大型机器学习模型训练中的稀疏数组与密集关系之间的点积运算。通过结合动态批处理与数组重排启发式方法（LSH、Radix、K-center），显著降低了I/O开销，相较于其他数据库内解决方案，执行速度最高可提升一个数量级，从而实现了在二级存储上的可扩展大型模型分析。

ABSTRACT

Big Model analytics tackles the training of massive models that go beyond the available memory of a single computing device, e.g., CPU or GPU. It generalizes Big Data analytics which is targeted at how to train memory-resident models over out-of-memory training data. In this paper, we propose an in-database solution for Big Model analytics. We identify dot-product as the primary operation for training generalized linear models and introduce the first array-relation dot-product join database operator between a set of sparse arrays and a dense relation. This is a constrained formulation of the extensively studied sparse matrix vector multiplication (SpMV) kernel. The paramount challenge in designing the dot-product join operator is how to optimally schedule access to the dense relation based on the non-contiguous entries in the sparse arrays. We prove that this problem is NP-hard and propose a practical solution characterized by two technical contributions---dynamic batch processing and array reordering. We devise three heuristics -- LSH, Radix, and K-center -- for array reordering and analyze them thoroughly. We execute extensive experiments over synthetic and real data that confirm the minimal overhead the operator incurs when sufficient memory is available and the graceful degradation it suffers as memory becomes scarce. Moreover, dot-product join achieves an order of magnitude reduction in execution time over alternative in-database solutions.

研究动机与目标

• 为解决大型机器学习模型超出主内存容量的挑战，特别是在数据库内分析系统中的应用。
• 设计一种数据库操作符，高效计算稀疏数组与密集关系之间的点积，这是广义线性模型中的核心操作。
• 在稀疏数组条目非连续的情况下，最小化二级存储的I/O访问，这对主内存稀缺时的性能至关重要。
• 提供一种可扩展的数据库内解决方案，用于大型模型分析，避免中间结果的物化，与传统数组或连接操作符不同。
• 实现对超出主内存的向量执行SpMV核函数的高效执行，扩展数据库系统在大规模机器学习中的适用范围。

提出的方法

• 提出点积连接作为物理数据库操作符，将稀疏数组与密集关系之间的点积运算在单个优化操作中完成。
• 引入动态批处理，将多个点积运算合并为更大的I/O高效批次，减少二级存储访问次数。
• 采用数组重排启发式方法——LSH、Radix与K-center，重新排列稀疏数组条目以提升空间局部性，减少向量访问过程中的随机I/O。
• 将稀疏矩阵-向量乘法（SpMV）核函数重新表述为受约束的连接操作，将聚合操作内置于连接中，避免中间结果的物化。
• 证明点积连接的最优访问调度问题是NP难问题，从而为采用启发式优化策略提供理论依据。
• 采用混合存储模型：密集向量存储在二级存储中，而稀疏数组在主内存中处理，并采用I/O感知的调度策略。

实验结果

研究问题

• RQ1 当模型向量超出主内存时，能否设计一种数据库操作符，高效计算稀疏数组与密集关系之间的点积，以支持大型模型训练？
• RQ2 在处理非连续稀疏数组条目与超出主存的向量时，访问调度对I/O性能有何影响？
• RQ3 在点积连接中，不同数组重排启发式方法（LSH、Radix、K-center）在I/O减少与执行时间方面表现如何比较？
• RQ4 当主内存资源日益紧张时，点积连接操作符的性能如何退化？与其它数据库内解决方案相比表现如何？
• RQ5 点积连接操作符能否推广至逻辑回归的梯度下降与低秩矩阵分解之外的其他SpMV工作负载？

主要发现

• 与其它数据库内解决方案相比，点积连接操作符在大型模型分析任务中实现了执行时间降低一个数量级。
• 该操作符在内存压力下表现出良好的降级特性，通过有效的I/O优化，即使在主内存受限时仍能保持良好性能。
• 在三种重排启发式方法中，Radix重排提供了最佳的可扩展性与性能，显著优于基础的LRU访问策略。
• 动态批处理通过将多个点积运算合并为更大的顺序I/O操作，有效减少了二级存储访问次数。
• 点积连接操作符是首个能高效从二级存储访问向量的SpMV核函数，实现了对超出主内存的模型的外存计算。
• 该操作符消除了中间结果物化的需要，因此在数据库系统中比传统的数组-连接或UDF方法更加高效。