[论文解读] Fast and Guaranteed Tensor Decomposition via Sketching

Yining Wang, Hsiao-Yu Fish Tung+2 more|arXiv (Cornell University)|Jun 14, 2015

Tensor decomposition and applications参考文献 28被引用 64

一句话总结

该论文提出了一种基于压缩技术的快速、随机化张量CP分解算法，利用FFT高效计算张量收缩，无需显式构造高阶张量。该方法在密集和稀疏张量上相比精确方法实现了10倍至100倍的速度提升，同时保持了与稀疏性或条目分布无关的理论保证。

ABSTRACT

Tensor CANDECOMP/PARAFAC (CP) decomposition has wide applications in statistical learning of latent variable models and in data mining. In this paper, we propose fast and randomized tensor CP decomposition algorithms based on sketching. We build on the idea of count sketches, but introduce many novel ideas which are unique to tensors. We develop novel methods for randomized computation of tensor contractions via FFTs, without explicitly forming the tensors. Such tensor contractions are encountered in decomposition methods such as tensor power iterations and alternating least squares. We also design novel colliding hashes for symmetric tensors to further save time in computing the sketches. We then combine these sketching ideas with existing whitening and tensor power iterative techniques to obtain the fastest algorithm on both sparse and dense tensors. The quality of approximation under our method does not depend on properties such as sparsity, uniformity of elements, etc. We apply the method for topic modeling and obtain competitive results.

研究动机与目标

• 解决机器学习和数据挖掘应用中大规模张量CP分解的计算瓶颈问题。
• 克服先前方法依赖稀疏性或条目分布均匀性等限制性假设的局限性。
• 开发一种框架，通过随机化压缩技术实现对稀疏和密集张量的快速、高精度分解。
• 提供与张量属性（如稀疏性或条目分布）无关的近似质量理论保证。
• 通过降低计算复杂度同时保持精度，实现在百亿规模数据集上的实际部署。

提出的方法

• 使用计数压缩与基于FFT的运算，以O(n + b log b)时间计算每阶秩-1分量的张量压缩，其中n为张量维度，b为压缩长度。
• 通过FFT隐式计算张量收缩，无需显式构造完整张量，将p阶张量的复杂度从O(n^p)降低至O(n + b log b)。
• 提出新型碰撞哈希函数，使用复数域C而非布尔域，以高效处理对称张量并减少冗余FFT运算。
• 将压缩技术与现有张量分解方法（如张量幂迭代和交替最小二乘法ALS）结合，实现快速、可扩展的分解。
• 利用经验矩张量的因子分解形式（如来自数据样本），直接从分量向量计算压缩，避免完整张量的构建。
• 通过浓度不等式和谱分析，对特征值和特征向量的近似误差进行有界控制，确保理论稳定性。

实验结果

研究问题

• RQ1 能否在不牺牲精度的前提下，显著加速稀疏和密集张量的张量CP分解？
• RQ2 能否将压缩技术适配于张量收缩，以避免显式张量构造并降低计算成本？
• RQ3 如何利用对称张量结构进一步优化压缩与基于FFT的计算？
• RQ4 所提方法是否能在不依赖张量稀疏性或条目分布的前提下，保持对近似质量的理论保证？
• RQ5 该方法能否在实际中实现对百亿规模数据张量的扩展，同时优于精确方法和现有随机化方法？

主要发现

• 所提方法在密集、高维张量上相比精确张量分解方法实现了10至100倍的速度提升。
• 即使在尖峰或非均匀张量上，该算法也仅带来微小性能损失，同时保持了高精度。
• 在主题建模任务中，该方法显著减少了计算时间，相比现有谱系LDA实现更优，且在时间受限条件下优于折叠Gibbs采样。
• 理论分析表明，特征值和特征向量的近似误差有界，且与张量稀疏性或条目分布无关。
• 使用复数域碰撞哈希显著减少了冗余FFT运算，尽管渐近复杂度相同，但带来了显著的实际加速。
• 实验结果证实，该方法在大规模数据集（包括包含数十亿个训练实例的真实世界主题建模任务）上具有良好的可扩展性。