[论文解读] Learning tensor networks with tensor cross interpolation: new algorithms and libraries

Y. Núñez-Fernández, Marc K. Ritter+9 more|arXiv (Cornell University)|Jul 2, 2024

Tensor decomposition and applications被引用 7

一句话总结

我们在从有限数据中学习紧凑的矩阵乘积态（MPS）表示方面，对张量交叉插值（TCI）进行了改进，使用部分秩揭示的 LU（prrLU）替代交叉插值以提高稳定性，并提供开源库（xfac 和 TensorCrossInterpolation.jl），具有多样化的应用。

ABSTRACT

The tensor cross interpolation (TCI) algorithm is a rank-revealing algorithm for decomposing low-rank, high-dimensional tensors into tensor trains/matrix product states (MPS). TCI learns a compact MPS representation of the entire object from a tiny training data set. Once obtained, the large existing MPS toolbox provides exponentially fast algorithms for performing a large set of operations. We discuss several improvements and variants of TCI. In particular, we show that replacing the cross interpolation by the partially rank-revealing LU decomposition yields a more stable and more flexible algorithm than the original algorithm. We also present two open source libraries, xfac in Python/C++ and TensorCrossInterpolation.jl in Julia, that implement these improved algorithms, and illustrate them on several applications. These include sign-problem-free integration in large dimension, the superhigh-resolution quantics representation of functions, the solution of partial differential equations, the superfast Fourier transform, the computation of partition functions, and the construction of matrix product operators.

研究动机与目标

• 激发并开发用于高维张量的可秩揭示、数据高效的张量分解。
• 通过使用部分秩揭示的 LU（prrLU）替代交叉插值来提升 TCI 的稳定性和灵活性。
• 展示 TCI 和量子表示在物理、数学和工程学中的实际应用。
• 提供实现改进算法的开源软件库。

提出的方法

• 用基于 prrLU 的分解替换 CI，以获得更稳定、更灵活的 TCI 算法。
• 开发 1-site、2-site 以及更高站数的 TCI 变体，具备枢轴策略（full、rook、block rook）以及添加/移除枢轴的选项。
• 引入 CI-与 LU-标准化过程以简化表示。
• 建立 CI/prrLU 与 Schur 补的联系，包括误差解释和嵌套性属性。
• 为张量 trains、MPOs 和 quantics 表示提供高层算法和可实现的 API。
• 通过展示 TCI 如何从有限评估中构建 MPS，并使用标准的 MPS tool箱实现快速运算来说明高效性。

实验结果

研究问题

• RQ1 如何使 TCI 对从有限数据学习低秩 MPS 表示时更鲁棒、更加灵活？
• RQ2 在 TCI 中使用 prrLU 相对于传统 CI 方法在稳定性和性能方面有哪些收益？
• RQ3 TCI 如何应用于高维积分、quantics 表示、PDE 以及 MPO 构造？
• RQ4 开放源代码库实现这些技术时的实际 API 与实现考虑因素？
• RQ5 在该张量上下文中，CI 与 prrLU 如何与 Schur 补和自能概念相关？

主要发现

• TCI 可以从极小的训练数据集中学习紧凑的 MPS 表示，从而使用 MPS tool箱 进行快速的后续张量运算。
• 用 prrLU 取代交叉插值为矩阵和张量情形提供了更稳定、更灵活的算法。
• 本文提出多种变体（1-site、2-site、0-site）和枢轴策略（full、rook、block rook），以提高收敛性和鲁棒性。
• 两种开源库，xfac（Python/C++）和 TensorCrossInterpolation.jl，实现了改进的 TCI 与 quantics 算法。
• 展示的应用包括高维积分、函数的 quantics 表示、PDE、快速傅里叶变换、分区函数计算和 MPO 构造。