[论文解读] Adaptive Learning of Tensor Network Structures

Meraj Hashemizadeh, Meilin Liu+2 more|arXiv (Cornell University)|Aug 12, 2020

Tensor decomposition and applications参考文献 46被引用 6

一句话总结

该论文提出一种贪心自适应算法，从数据中联合学习张量网络（TN）结构与参数，从一个秩一张量开始，逐步添加最有望提升秩的边。该方法在张量分解和模型压缩任务中优于当前最先进方法，实现更低的重构误差和更少的参数量——尤其在图像补全和神经网络压缩任务中表现突出，且相比进化方法显著更快。

ABSTRACT

Tensor Networks (TN) offer a powerful framework to efficiently represent very high-dimensional objects. TN have recently shown their potential for machine learning applications and offer a unifying view of common tensor decomposition models such as Tucker, tensor train (TT) and tensor ring (TR). However, identifying the best tensor network structure from data for a given task is challenging. In this work, we leverage the TN formalism to develop a generic and efficient adaptive algorithm to jointly learn the structure and the parameters of a TN from data. Our method is based on a simple greedy approach starting from a rank one tensor and successively identifying the most promising tensor network edges for small rank increments. Our algorithm can adaptively identify TN structures with small number of parameters that effectively optimize any differentiable objective function. Experiments on tensor decomposition, tensor completion and model compression tasks demonstrate the effectiveness of the proposed algorithm. In particular, our method outperforms the state-of-the-art evolutionary topology search [Li and Sun, 2020] for tensor decomposition of images (while being orders of magnitude faster) and finds efficient tensor network structures to compress neural networks outperforming popular TT based approaches [Novikov et al., 2015].

研究动机与目标

• 为给定机器学习任务，解决从数据中选择最佳张量网络结构的挑战。
• 以参数预算为约束，联合优化TN结构与参数，使可微分损失函数最小化。
• 开发一种通用、高效且自适应的方法，对特定分解模型（如Tucker、TT或TR）无偏见。
• 探索任意张量网络拓扑结构与非均匀秩，以提升性能。
• 通过结构学习实现有效的张量分解、补全与神经网络压缩。

提出的方法

• 该方法从秩一张量开始，采用贪心策略，基于损失减少量，迭代选择最有望实现秩提升的边。
• 在每一步中，算法通过连续优化（如ALS）更新当前TN结构的参数。
• 贪心选择由可微分目标函数引导，支持结构与参数的端到端联合优化。
• 该方法被应用于多种任务：张量分解、张量补全与神经网络模型压缩。
• 采用权重迁移机制，利用前一结构的参数初始化当前步骤的参数，提升收敛速度。
• 该方法被形式化为双层优化：离散结构搜索（上层）与连续参数优化（下层）。

实验结果

研究问题

• RQ1 贪心算法能否有效发现适用于多样化张量学习任务的最优张量网络结构？
• RQ2 与TT、TR或Tucker等固定结构方法相比，自适应结构学习在参数效率与精度方面表现如何？
• RQ3 在张量分解任务中，所提方法是否能在速度与性能上均优于进化拓扑搜索方法？
• RQ4 在贪心步骤中引入权重迁移在多大程度上改善了收敛性与最终性能？
• RQ5 该方法能否发现超越标准TT方法的高效TN结构，用于压缩深度神经网络？

主要发现

• 所提出的Greedy-TN算法在图像张量分解任务中显著优于当前最先进方法[18]，实现更低的恢复误差与更少参数，且训练速度高出数个数量级。
• 在Einstein图像补全任务中，Greedy-TN发现的结构实现的相对测试误差低于CP、Tucker、TT与TR基线方法，同时使用更少参数。
• 在神经网络全连接层压缩任务中，Greedy-TN发现的张量网络结构比[22]中的TT方法更高效，实现更好的模型压缩且精度下降更小。
• 消融实验表明，权重迁移机制相比每步随机初始化，能实现更快收敛与更低的重构误差。
• 该方法成功识别出优于均匀秩基线的非均匀秩结构，证明其在数据驱动结构发现方面的适应能力。
• 该算法在多种任务中表现优异，包括张量分解、补全与模型压缩，证实其通用性与鲁棒性。