[论文解读] Learning Efficient Tensor Representations with Ring Structure Networks

Qibin Zhao, Masashi Sugiyama+1 more|arXiv (Cornell University)|May 20, 2017

Tensor decomposition and applications参考文献 1被引用 18

一句话总结

本文提出张量环（TR）分解，一种排列不变的张量网络，通过使用迹运算将张量列车（TT）的线性链结构替换为环形结构，实现对称、灵活且更具表现力的表示。该方法在数据排列下实现了更优的压缩效果与一致性，TR-SVD与TR-BALS算法支持高效学习与自适应秩选择。

ABSTRACT

Tensor train (TT) decomposition is a powerful representation for high-order tensors, which has been successfully applied to various machine learning tasks in recent years. However, since the tensor product is not commutative, permutation of data dimensions makes solutions and TT-ranks of TT decomposition inconsistent. To alleviate this problem, we propose a permutation symmetric network structure by employing circular multilinear products over a sequence of low-order core tensors. This network structure can be graphically interpreted as a cyclic interconnection of tensors, and thus we call it tensor ring (TR) representation. We develop several efficient algorithms to learn TR representation with adaptive TR-ranks by employing low-rank approximations. Furthermore, mathematical properties are investigated, which enables us to perform basic operations in a computationally efficiently way by using TR representations. Experimental results on synthetic signals and real-world datasets demonstrate that the proposed TR network is more expressive and consistently informative than existing TT networks.

研究动机与目标

• 解决张量列车（TT）分解在处理数据维度排列时的局限性，该问题导致TT秩不一致且表示灵活性降低。
• 克服TT秩固定约束（r₁ = r_{d+1} = 1）对模型表达能力与适应性的限制。
• 设计一种对称的环形张量网络结构，使所有核心等价处理，提升对输入顺序的鲁棒性。
• 设计高效算法——TR-SVD与TR-BALS——用于学习具有自适应秩的TR表示，计算成本低。
• 证明所提出的TR表示在合成数据与真实世界数据上，相较于TT能实现更紧凑、稳定且信息更丰富的张量分解。

提出的方法

• 提出一种环形结构张量网络，其中每个张量元素通过核心张量的循环积的迹运算计算：T(i₁,…,i_d) = Tr{Z₁(i₁)Z₂(i₂)⋯Z_d(i_d)}
• 利用迹运算消除对 r₁ = r_{d+1} = 1 的依赖，实现对所有核心的对称处理，提升表示灵活性。
• 提出TR-SVD：一种非迭代、计算高效的低秩TR近似算法，基于SVD截断。
• 开发TR-BALS：一种分块交替最小二乘算法，交替更新相邻核心乘积，并对分离部分应用低秩近似。
• 利用迹运算与多线性代数的数学性质，实现对基本张量运算（如乘法、展开）的高效计算，直接在TR核心上进行。
• 应用低秩近似技术，在学习过程中动态调整TR秩，实现自适应与紧凑的表示。

实验结果

研究问题

• RQ1 能否设计一种张量网络结构，使其在保持低参数复杂度的同时对维度排列保持不变？
• RQ2 如何放松TT分解中刚性秩约束（r₁ = r_{d+1} = 1）以提升模型表达能力？
• RQ3 核心张量的对称环形互连结构（环形结构）是否能提供比线性TT链更稳定、更一致的表示？
• RQ4 所提出的算法（TR-SVD与TR-BALS）在逼近精度、参数效率及对数据排序的鲁棒性方面，与TT-SVD相比表现如何？
• RQ5 TR表示在真实世界任务（如图像分类与信号重建）中的性能提升程度如何？

主要发现

• TR分解在所有维度排列下均实现一致且低秩的表示，平均TR秩保持稳定（例如，f₂(x)在9次偏移下平均秩约为4.9），而TT则表现出显著的秩波动（例如，k=8时达14.6）。
• 在COIL-100数据集上，TR-SVD在ρ=50%训练数据与r_max=23条件下达到99.14%准确率，而TT-SVD需r_max=67才能达到类似性能，表明参数量显著减少。
• TR-BALS在COIL-100上实现0.19的相对误差，平均秩为12.0，准确率达99.14%，在误差水平相当的情况下，优于TT-SVD在准确率与参数效率方面。
• 对于函数型数据，TR-SVD在高信噪比下仍保持低参数量（668）与低误差（5e-4），而TT-SVD在加入噪声后需13,064个参数才能达到1e-3误差。
• TR表示将TT中的O(dnr²)参数量降低至O(dnr)，实现与张量阶数的线性缩放，提升可扩展性。
• 实验结果证实，TR表示相较于TT更具表达力且信息更一致，尤其在数据重排或高阶结构场景下表现更优。