[论文解读] Function-Train: A continuous analogue of the tensor-train decomposition

Alex Gorodetsky, Sertaç Karaman+1 more|arXiv (Cornell University)|Oct 30, 2015

Tensor decomposition and applications参考文献 26被引用 12

一句话总结

本文提出了函数-列车（Function-Train, FT），一种张量-列车分解的连续类比，通过将多变量函数表示为一系列单变量函数核心，实现了高维函数的自适应逼近，且在积分、微分和四则运算中具有多项式时间复杂度。核心贡献是提出了一套连续矩阵分解与交叉近似框架，支持对复杂函数进行高效、低秩表示，而无需离散张量化处理。

ABSTRACT

We describe a new nonparametric function approximation framework based on a extension of the tensor-train decomposition. The approximation, termed a function-train (FT), results in a tensor-train structure whose cores are univariate functions of each variable. An advantage of the FT over discrete approaches is that it produces an adaptive approximation of tensor fibers that is not tied to any tensorized discretization procedure. Furthermore, the representation of low-rank functions in FT format enables efficient computation: we can add, multiply, integrate, and differentiate functions in polynomial time with respect to dimension. Our approach is in the spirit of other computation packages such as Chebfun, and yields an algorithm which requires the computation of continuous matrix factorizations such as the LU and QR decompositions of vector-valued functions. Our contributions include creating a maxvol algorithm for finding the maximum volume submatrix of a matrix-valued function. We also introduce a maxvol cross-approximation algorithm to obtain skeleton decompositions of vector-valued functions, a cross-approximation algorithm for converting black-box functions into FT format, and a rounding algorithm that re-approximates an FT by an FT of lower ranks. We demonstrate the benefits of our approach by integrating high dimensional and discontinuous functions. We also show how the algorithm performs on a variety of approximation tasks.

研究动机与目标

• 开发一种非参数化函数逼近框架，避免使用离散张量化离散化处理。
• 通过连续低秩表示实现多变量函数的高效计算。
• 将张量-列车概念扩展至连续函数，利用单变量函数核心进行表示。
• 在维度上以多项式时间复杂度支持积分、微分和四则运算等操作。
• 提供类似Chebfun的环境，通过向量值函数的矩阵分解实现连续函数代数。

提出的方法

• 将多变量函数表示为张量-列车结构，其中每个核心是单个变量的函数。
• 使用连续矩阵分解（如LU和QR分解）处理向量值函数，以构建函数-列车格式。
• 开发最大体积（maxvol）算法，从矩阵值函数中选择最大体积子矩阵，以提升逼近精度。
• 提出基于maxvol的交叉近似算法，用于计算向量值函数的骨架分解。
• 设计一种交叉近似算法，将黑箱函数转换为FT格式，实现低秩逼近。
• 实现一种约化算法，可在保持精度的前提下对FT进行低秩重逼近。

实验结果

研究问题

• RQ1 如何将张量-列车分解扩展至连续的、非离散化的多变量函数？
• RQ2 为支持函数-列车构建，需要哪些矩阵分解（如LU、QR）的连续类比？
• RQ3 能否将基于maxvol的采样方法适配至矩阵值函数，以提升函数逼近性能？
• RQ4 在函数-列车格式中，积分与微分等操作的计算效率如何？
• RQ5 在控制秩与精度的前提下，黑箱函数在多大程度上可被转换为具有低秩结构的函数-列车格式？

主要发现

• 函数-列车格式可实现对张量纤维的自适应、非离散化逼近，且不依赖于固定网格结构。
• 在FT格式中，函数的加法、乘法、积分与微分等操作在维度上均具有多项式时间复杂度。
• 针对矩阵值函数的maxvol算法显著提升了函数-列车框架中骨架分解的精度。
• 交叉近似算法成功地将黑箱函数转换为FT格式，且秩与精度可控。
• 约化算法能有效降低FT的秩，同时保持逼近质量，从而实现高效存储与计算。
• 该框架在高维及不连续函数的积分任务中表现出色，验证了其鲁棒性与可扩展性。