[论文解读] The trouble with tensor ring decompositions

Kim Batselier|arXiv (Cornell University)|Nov 9, 2018

Tensor decomposition and applications参考文献 27被引用 8

一句话总结

本文揭示了张量环（TR）分解中的一个关键缺陷：在执行收缩和Hadamard积等常见操作后，TR舍入算法无法恢复最小秩表示。尽管TR能够高效处理指数级庞大的张量，但其秩膨胀问题无法纠正，导致其在实际应用中的适用性远低于张量列车分解。

ABSTRACT

The tensor train decomposition decomposes a tensor into a "train" of 3-way tensors that are interconnected through the summation of auxiliary indices. The decomposition is stable, has a well-defined notion of rank and enables the user to perform various linear algebra operations on vectors and matrices of exponential size in a computationally efficient manner. The tensor ring decomposition replaces the train by a ring through the introduction of one additional auxiliary variable. This article discusses a major issue with the tensor ring decomposition: its inability to compute an exact minimal-rank decomposition from a decomposition with sub-optimal ranks. Both the contraction operation and Hadamard product are motivated from applications and it is shown through simple examples how the tensor ring-rounding procedure fails to retrieve minimal-rank decompositions with these operations. These observations, together with the already known issue of not being able to find a best low-rank tensor ring approximation to a given tensor indicate that the applicability of tensor rings is severely limited.

研究动机与目标

• 研究张量环（TR）分解在执行线性代数操作后维持最小秩的局限性。
• 证明TR舍入过程在经历收缩和Hadamard积等操作后，无法恢复精确的最小秩表示。
• 比较TR与张量列车（TT）在执行此类操作后的存储复杂度与秩行为。
• 表明由于不存在最佳低秩TR近似，且舍入失败，严重限制了TR在实际中的适用性。

提出的方法

• 使用带有辅助索引环形连接结构的三路核心张量，构建一个d阶张量的张量环格式。
• 基于Kronecker积的矩阵展开方法，对两个TR分解的张量执行Hadamard积操作，结果TR秩等于原始秩的乘积。
• 对所得Hadamard积应用TR舍入算法，尝试将秩降低至最小值。
• 将TR结果转换为张量列车（TT）表示，以比较存储复杂度，并评估是否可通过TT舍入恢复最小秩。
• 分析TR核心张量的缩放奇异值谱，以评估截断的潜力（无误差）。
• 从TT形式重构TR表示，并重新应用TR舍入，以测试是否存在更低秩的替代方案。

实验结果

研究问题

• RQ1 TR舍入算法是否能在Hadamard积操作后恢复精确的最小秩TR分解？
• RQ2 收缩或Hadamard积操作是否会导致TR分解中不可逆的秩膨胀？
• RQ3 在重复操作后，TR表示的存储复杂度与TT表示相比如何？
• RQ4 是否存在一种TR表示，其Hadamard积的秩低于直接基于Kronecker积构造的秩？
• RQ5 TR舍入失败在多大程度上削弱了张量环分解在大规模张量计算中的实际效用？

主要发现

• TR舍入算法在Hadamard积操作后无法降低秩，舍入后的TR秩等于原始TR秩的平方（例如，R=3 → 舍入秩为9）。
• 当R≥5时，Hadamard积的最大TT秩保持恒定在216，表明基于TT的舍入无法在此点之后进一步降低存储复杂度。
• TR表示的存储复杂度随原始TR秩增加而增长，TR与TT存储复杂度之比从R=3时的0.13增至R=12时的7.78。
• TR核心张量的奇异值谱显示，无相对误差至少100%的情况下无法进行截断，确认当前TR表示并非最小秩。
• 从TT表示重构TR并重新应用TR舍入后，可获得更低的秩（例如，当R≥4时，最大秩为108），证明存在更低秩的TR表示，但标准TR舍入算法无法找到。
• 当R≥7时，通过TT转换和TR舍入获得的TR表示的存储复杂度低于直接Kronecker积方法，证明标准TR舍入过程次优。