[论文解读] A literature survey of low-rank tensor approximation techniques

Lars Grasedyck, Daniel Kreßner+1 more|arXiv (Cornell University)|Feb 28, 2013

Tensor decomposition and applications参考文献 186被引用 55

一句话总结

本综述全面概述了低秩张量近似技术，重点聚焦于从高维问题中产生的与函数相关的张量。综述回顾了关键的张量分解方法——如CP、Tucker、TT和分层Tucker——以及求解线性系统和特征值问题的数值算法，这些算法在低秩格式下运行，从而实现在高维空间中的高效计算。

ABSTRACT

During the last years, low-rank tensor approximation has been established as a new tool in scientific computing to address large-scale linear and multilinear algebra problems, which would be intractable by classical techniques. This survey attempts to give a literature overview of current developments in this area, with an emphasis on function-related tensors.

研究动机与目标

• 提供关于从多元函数导出的张量的低秩张量近似技术的统一文献综述。
• 通过实现压缩存储和计算，解决高阶张量中的维数灾难问题。
• 回顾直接在低秩张量格式下运行的数值算法，用于求解线性系统和特征值问题。
• 突出展示在科学计算中的应用，包括偏微分方程、量子力学和随机建模。
• 重点关注TT和分层Tucker格式，同时承认该领域其他重要进展。

提出的方法

• 使用CP、Tucker、张量列车（TT）和分层Tucker等张量分解方法，以压缩形式表示高阶张量。
• 采用揭示秩的分解和交替最小二乘算法来计算低秩近似。
• 将低秩格式应用于求解线性系统和特征值问题，而无需构建完整的张量。
• 引入分层和基于树的格式（例如Tucker树）以管理高维问题中的复杂性。
• 利用张量网格上的函数采样来生成多元函数的张量表示。
• 回顾低秩格式的收敛性和近似性质，特别是针对光滑或解析函数的情况。

实验结果

研究问题

• RQ1 如何高效地压缩和存储由多元函数产生的高维张量？
• RQ2 在高维空间中，哪些最有效的低秩张量格式（如CP、TT、分层Tucker）适用于函数近似？
• RQ3 如何将线性系统和特征值问题的数值求解器适配到低秩张量格式下运行？
• RQ4 低秩张量格式在光滑或解析函数上的近似性质和收敛速率如何？
• RQ5 在科学计算中，哪些应用最受益于低秩张量技术？

主要发现

• TT和分层Tucker等低秩张量格式可实现高达50阶的高维张量的存储与计算，仅需数TB空间，而非PB级别。
• CP分解对可分离函数有效，但在实际应用中可能因病态条件和收敛缓慢而受限。
• 张量列车（TT）和分层Tucker格式能为低光滑度或低有效秩的函数提供稳定且高效的表示。
• 基于低秩张量格式的数值求解器可显著降低存储和计算成本，用于求解高维偏微分方程和特征值问题。
• 对于光滑函数，近似误差随秩增加而迅速衰减，尤其在分层Tucker格式中表现明显。
• 综述指出TT和分层Tucker是最有前景的函数相关张量格式，具有坚实的理论和计算基础。