[论文解读] Efficient construction of tensor ring representations from sampling

Yuehaw Khoo, Jianfeng Lu+1 more|arXiv (Cornell University)|Nov 2, 2017

Tensor decomposition and applications参考文献 20被引用 6

一句话总结

该论文提出了一种基于采样的高效方法，从有限数据中构建高维函数的张量环（TR）表示，采用带新颖初始化方案的交替最小二乘法（ALS）。该方法在压缩效率和结构保持方面优于张量-列车（TT）格式，仅需 O(d) 个样本，并在参数数量较少的情况下实现快速收敛，同时保持相近的精度。

ABSTRACT

In this paper we propose an efficient method to compress a high dimensional function into a tensor ring format, based on alternating least-squares (ALS). Since the function has size exponential in $d$ where $d$ is the number of dimensions, we propose efficient sampling scheme to obtain $O(d)$ important samples in order to learn the tensor ring. Furthermore, we devise an initialization method for ALS that allows fast convergence in practice. Numerical examples show that to approximate a function with similar accuracy, the tensor ring format provided by the proposed method has less parameters than tensor-train format and also better respects the structure of the original function.

研究动机与目标

• 为解决在全张量访问不可行（因大小呈指数增长）的情况下，将高维函数压缩为低秩张量环（TR）格式的挑战。
• 开发一种采样策略，仅选取 O(d) 个关键样本，以实现从黑箱函数评估中高效构建TR表示。
• 设计一种适用于交替最小二乘法（ALS）的初始化方法，确保在实际中快速收敛。
• 证明TR格式在相同近似精度下，相比张量-列车（TT）格式，具有更优的结构保持能力和更低的参数数量。

提出的方法

• 该方法使用交替最小二乘法（ALS）算法，从采样函数值中学习TR核心张量，避免存储完整张量。
• 提出一种新颖的采样方案，通过利用函数的分层结构和低秩特性，选择 O(d) 个关键样本。
• 提出一种基于骨架分解和CUR矩阵的初始化策略，以加速ALS的收敛。
• 该算法利用张量网络图和矩阵重塑技术，通过Frobenius范数最小化，高效计算TR核心更新。
• 通过伪逆和条件数分析，推导出理论界，以确保在采样约束下近似精度的可靠性。
• 该方法将函数视为黑箱，仅采样部分网格点，即可重构TR格式。

实验结果

研究问题

• RQ1 能否仅使用 O(d) 个样本，将高维函数准确压缩为张量环格式？
• RQ2 如何设计ALS的初始化方案，以确保在TR格式学习中实现快速收敛？
• RQ3 在相同近似误差下，张量环格式是否相比张量-列车格式具有更优的参数效率和结构保持能力？
• RQ4 当仅获得部分样本时，TR近似误差可建立何种理论保证？

主要发现

• 所提方法在显著减少参数数量的同时，实现了与张量-列车（TT）格式相当或更优的近似精度。
• 通过所提方法构建的TR格式，相比TT格式，更能保持原始函数的内在结构。
• 采样方案仅需 O(d) 个样本，使其可扩展至高维问题。
• 初始化方法显著加速了ALS的收敛，减少了达到收敛所需的迭代次数。
• 理论分析表明，当扰动 δα、δκ 较小时，近似误差被限制在 O(δα + 4δκ) 范围内，表明方法具有鲁棒性。
• 该方法在实验中表现优异，误差界随采样质量与秩约束的提升而呈有利的缩放趋势。