[论文解读] Enabling Distributed-Memory Tensor Completion in Python using New Sparse Tensor Kernels.

Zecheng Zhang, Xiaoxiao Wu+3 more|arXiv (Cornell University)|Oct 6, 2019

Tensor decomposition and applications参考文献 71被引用 5

一句话总结

本文提出了一种用于Cyclops张量库的高级Python接口，可在分布式内存系统上实现高效、可扩展的张量补全。通过利用新型稀疏张量内核——特别是用于多张量运算的TTTP例程——该方法加速了ALS、SGD和CCD++算法，在高稀疏张量上表现出色，如在Stampede2上对含有100亿个非零元素的合成张量和Netflix数据集的实验所示。

ABSTRACT

Tensor computations are increasingly prevalent numerical techniques in data science, but pose unique challenges for high-performance implementation. We provide novel algorithms and systems infrastructure, together enabling the first high-level parallel implementations of three algorithms for the tensor completion problem: alternating least squares (ALS), stochastic gradient descent (SGD), and coordinate descent (CCD++). We develop these methods using a new Python interface to the Cyclops tensor algebra library, which fully automates the management of distributed-memory parallelism and sparsity for NumPy-style operations on multidimensional arrays. To make possible tensor completion for very sparse tensors, we introduce a new multi-tensor routine, TTTP, that is asymptotically more efficient than pairwise tensor contraction for key components of the tensor completion methods. In particular, we show how TTTP can be used to perform an ALS via conjugate gradient with implicit matrix-vector products, a novel tensor completion algorithm. Further, we provide the first distributed tensor library with hypersparse matrix representations, via integration of new sequential and parallel routines into the Cyclops library. We provide microbenchmarking results on the Stampede2 supercomputer to demonstrate the efficiency of this functionality. Finally, we study the performance of the tensor completion methods for a synthetic tensor with 10 billion nonzeros and the Netflix dataset.

研究动机与目标

• 解决在分布式内存系统中处理极稀疏张量时张量补全的性能与可扩展性挑战。
• 在Python中实现高层级、用户友好的并行张量操作，自动管理稀疏性与分布。
• 开发并集成新型稀疏张量内核，特别是TTTP，以超越传统成对张量收缩方法。
• 在分布式张量库中支持高稀疏矩阵表示，以提升内存与计算效率。
• 在大规模真实世界和合成数据集上评估张量补全算法的性能。

提出的方法

• 设计并实现Cyclops张量代数库的新Python接口，支持在分布式稀疏张量上进行类似NumPy的操作。
• 引入TTTP（张量-张量-张量积）例程，高效计算多张量收缩，相比成对方法降低渐近时间复杂度。
• 通过TTTP在共轭梯度求解器中实现隐式矩阵-向量乘积，形成一种新型ALS变体。
• 将顺序与并行的高稀疏矩阵表示例程集成到Cyclops库中，以支持极端稀疏性。
• 使用Stampede2超级计算机进行微基准测试与新内核及算法的性能评估。
• 基于新基础设施实现并优化三种张量补全算法：ALS、SGD和CCD++。

实验结果

研究问题

• RQ1 高层级Python接口能否有效管理张量操作的分布式内存并行性与稀疏性？
• RQ2 TTTP例程相比传统成对张量收缩，在张量补全效率方面有何提升？
• RQ3 通过TTTP实现的隐式矩阵-向量乘积能否支持一种新型、可扩展的ALS算法用于张量补全？
• RQ4 新分布式张量库在高稀疏张量上实现了哪些性能提升？
• RQ5 张量补全算法在真实世界（Netflix）和大规模合成数据集上的可扩展性如何？

主要发现

• TTTP例程在关键张量补全组件上相比成对张量收缩具有渐近更优的性能。
• 采用共轭梯度和通过TTTP实现的隐式矩阵-向量乘积的新型ALS变体在稀疏张量上表现出高效率。
• 集成高稀疏矩阵支持的分布式张量库可高效处理高达100亿个非零元素的张量。
• 在Stampede2上的微基准测试结果证实了新稀疏张量内核的高效性与可扩展性。
• 张量补全算法在含有100亿个非零元素的合成张量和Netflix数据集上均表现出强劲性能。
• 将新内核集成到Cyclops中，首次实现了在Python中高层级、可扩展且高效的张量补全。