[论文解读] Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions

HanQin Cai, Keaton Hamm+2 more|arXiv (Cornell University)|Mar 19, 2021

Tensor decomposition and applications参考文献 67被引用 13

一句话总结

本文提出了基于模式的张量CUR分解——纤维CUR与千代田CUR，作为传统低秩张量近似方法的高效、非矩阵化的替代方案。通过直接从张量中采样纤维和子张量，该方法实现了O(r²n log²d)的复杂度，在高光谱和合成数据集上显著优于当前最先进方法的运行速度，同时保持了具有竞争力的重建质量。

ABSTRACT

Low rank tensor approximation is a fundamental tool in modern machine learning and data science. In this paper, we study the characterization, perturbation analysis, and an efficient sampling strategy for two primary tensor CUR approximations, namely Chidori and Fiber CUR. We characterize exact tensor CUR decompositions for low multilinear rank tensors. We also present theoretical error bounds of the tensor CUR approximations when (adversarial or Gaussian) noise appears. Moreover, we show that low cost uniform sampling is sufficient for tensor CUR approximations if the tensor has an incoherent structure. Empirical performance evaluations, with both synthetic and real-world datasets, establish the speed advantage of the tensor CUR approximations over other state-of-the-art low multilinear rank tensor approximations.

研究动机与目标

• 开发保留张量多维结构而不进行矩阵化的基于张量的CUR分解。
• 刻画低多线性秩张量的精确与扰动张量CUR分解。
• 为纤维CUR与千代田CUR两种变体在对抗性噪声与高斯噪声下建立理论误差边界。
• 证明当张量表现出非相干结构时，均匀采样足以实现高质量近似。
• 通过实证验证，张量CUR在速度与精度上相对于现有低秩张量近似方法具有优势。

提出的方法

• 提出两种张量CUR变体：纤维CUR，沿张量纤维（模式-1切片）采样；千代田CUR，跨所有模式采样子张量。
• 引入一种非矩阵化方法，避免将张量展开为矩阵，从而在分解过程中保持完整的张量结构。
• 采用均匀随机采样策略选择核心子张量与纤维，并为非相干张量提供了理论依据。
• 推导了两种近似类型在对抗性噪声与高斯噪声下的理论误差边界，表明在扰动环境下具有稳定性。
• 利用多线性秩约束确保低秩近似的保真度，当核心张量具有满秩时可保证精确重构。
• 采用带理论保证的随机采样，实现相对于张量大小的亚线性时间复杂度。

实验结果

研究问题

• RQ1 张量CUR分解能否推广到多维数组，同时保持理论保证与计算效率？
• RQ2 在何种条件下，均匀随机采样可产生准确的张量CUR近似？
• RQ3 在对抗性与随机噪声下，纤维CUR与千代田CUR的误差边界如何比较？
• RQ4 与矩阵化张量分解方法相比，模式张量CUR的计算复杂度如何？
• RQ5 在真实世界数据上，张量CUR在不牺牲重建质量的前提下，能在多大程度上实现高速压缩？

主要发现

• 纤维CUR在所有测试方法中运行时间最短，分别在Ribeira、Braga与Ruivaes数据集上的平均执行时间达到0.29秒、0.26秒与0.31秒。
• 千代田CUR在信噪比（SNR）方面表现更优，在上述数据集上分别达到24.39 dB、18.56 dB与15.84 dB，优于HOSVD与HOOI。
• 尽管张量秩较高（例如Ruivaes数据集为(65,65,4)），两种张量CUR变体仍保持了出色的重建质量，表明对高秩结构具有鲁棒性。
• 所提方法相比HOSVD与HOOI实现了2.5倍至3倍的加速，且在所有基准测试中，纤维CUR为最快变体。
• 视觉对比结果表明，尽管计算时间显著减少，张量CUR分解仍保持了与最先进方法相当的图像质量。
• 理论分析证实，当张量具有非相干结构时，均匀采样足以实现准确近似，从而为采样策略的高效性提供了理论支持。