[论文解读] MACH: Fast Randomized Tensor Decompositions

Charalampos E. Tsourakakis|ArXiv.org|Sep 27, 2009

Tensor decomposition and applications参考文献 50被引用 18

一句话总结

MACH 是一种快速的随机化算法，用于 Tucker 张量分解，通过采样一小部分固定比例的张量条目（例如，p=10%）来实现高精度的低秩近似。它在大规模张量上实现了显著的加速——最高达 7.52×，即使数据超出内存容量也能高效运行，且特别适用于张量流处理和事后分析，并提供了准确性的理论保证。

ABSTRACT

Tensors naturally model many real world processes which generate multi-aspect data. Such processes appear in many different research disciplines, e.g, chemometrics, computer vision, psychometrics and neuroimaging analysis. Tensor decompositions such as the Tucker decomposition are used to analyze multi-aspect data and extract latent factors, which capture the multilinear data structure. Such decompositions are powerful mining tools, for extracting patterns from large data volumes. However, most frequently used algorithms for such decompositions involve the computationally expensive Singular Value Decomposition. In this paper we propose MACH, a new sampling algorithm to compute such decompositions. Our method is of significant practical value for tensor streams, such as environmental monitoring systems, IP traffic matrices over time, where large amounts of data are accumulated and the analysis is computationally intensive but also in "post-mortem" data analysis cases where the tensor does not fit in the available memory. We provide the theoretical analysis of our proposed method, and verify its efficacy in monitoring system applications.

研究动机与目标

• 为解决大规模张量分析中 Tucker 分解的计算瓶颈，尤其是在数据超出可用内存或以流式方式到达时的问题。
• 开发一种方法，在通过随机采样张量条目大幅减少计算时间的同时，仍能保持高精度。
• 在固定采样概率 p 的条件下，为低秩近似提供理论上的准确性保证。
• 实现在实际监控系统和数据挖掘流水线中部署的可行性，其中完整 SVD 方法不可行。
• 通过单一、极其并行的算法，同时支持流式处理和事后分析张量分析。

提出的方法

• MACH 以固定概率 p 独立采样每个张量条目，仅保留一小部分恒定比例的数据。
• 利用采样条目通过带随机 SVD 的交替最小二乘法计算低秩 Tucker 分解。
• 该方法利用了对于密集张量而言，一小部分随机子集可保留主要多线性结构的事实。
• 该算法是极其并行的，因为每个条目仅根据一次抛硬币操作独立处理。
• 理论分析使用集中不等式和张量范数界定了低秩近似中的误差。
• 该方法在真实监控数据和合成张量上均被应用，以验证性能和准确性。

实验结果

研究问题

• RQ1 固定采样率策略是否能在不访问完整张量的前提下实现准确的 Tucker 分解？
• RQ2 在大规模场景下，采样概率 p 如何影响 Tucker 分解的准确性和速度？
• RQ3 MACH 是否能够扩展到无法装入主内存的张量上，例如在流式处理或事后分析中？
• RQ4 MACH 产生的低秩近似的理论误差界是什么？
• RQ5 在真实数据和合成数据上，MACH 与完整 Tucker 分解相比在性能和准确性方面表现如何？

主要发现

• 与完整 Tucker 分解相比，MACH 在大小为 500×500×500 的合成张量上实现了 7.52× 的加速，近似准确率达到 87%。
• 对于 200×200×200 的张量，MACH 分解与精确分解的主成分之间的相关系数分别为 0.9967、0.9955 和 0.9964，表明主成分近乎完美对齐。
• MACH 和精确分解的核心张量值几乎完全相同（18.4856 vs. 18.4887），证实了最重要的多线性交互关系得以保留。
• MACH 在导致 MATLAB 在使用完整算法时内存溢出的 500×500×500 张量上成功计算了 Tucker 分解。
• 在真实监控数据中，p=10% 取得了优异结果，而 p=5% 在一个数据集中导致性能下降，表明在实践中恒定的 p 值是有效的。
• 理论分析表明，在张量维度和最大条目大小满足温和条件时，MACH 以高概率提供可靠的低秩近似。