[论文解读] Adaptive Tensor Learning with Tensor Networks

Meraj Hashemizadeh, Meilin Liu+2 more|arXiv (Cornell University)|Aug 12, 2020

Tensor decomposition and applications参考文献 23被引用 8

一句话总结

本文提出了一种通用的、自适应的张量学习算法，采用张量网络形式化方法，自动发现最优低秩结构，且用户干预最少。通过基于可微损失函数贪婪地添加张量网络边，该方法高效识别出紧凑的、数据驱动的张量网络架构，在张量补全和分解任务中优于固定分解模型。

ABSTRACT

Tensor decomposition techniques have shown great successes in machine learning and data science by extending classical algorithms based on matrix factorization to multi-modal and multi-way data. However, there exist many tensor decomposition models~(CP, Tucker, Tensor Train, etc.) and the rank of such a decomposition is typically a collection of integers rather than a unique number, making model and hyper-parameter selection a tedious and costly task. At the same time, tensor network methods are powerful tools developed in the physics community which have recently shown their potential for machine learning applications and offer a unifying view of the various tensor decomposition models. In this paper, we leverage the tensor network formalism to develop a generic and efficient adaptive algorithm for tensor learning. Our method is based on a simple greedy approach optimizing a differentiable loss function starting from a rank one tensor and successively identifying the most promising tensor network edges for small rank increments. Our algorithm can adaptively identify tensor network structures with small number of parameters that effectively optimize the objective function from data. The framework we introduce is very broad and encompasses many common tensor optimization problems. Experiments on tensor decomposition and tensor completion tasks with both synthetic and real world data demonstrate the effectiveness of the proposed algorithm.

研究动机与目标

• 为解决选择最优张量分解模型和秩的挑战，这些通常需要人工干预、成本高昂且在不同类型数据间不一致。
• 将多种张量分解模型（如CP、Tucker、张量列车）统一于单一张量网络形式化框架下，实现系统性优化。
• 开发一种自适应算法，自动识别最具信息量的张量网络结构，同时参数量最少。
• 实现在无需预先知晓分解秩或拓扑结构的情况下，对张量学习目标进行高效、可微分的优化。

提出的方法

• 该方法采用一种贪婪的迭代策略，从一个秩-1张量开始，逐步添加最具优势的张量网络边。
• 在每一步中，算法通过优化可微损失函数，选择能最大程度提升模型性能的下一条边。
• 张量网络结构根据连接的数据驱动重要性动态构建，从而实现自适应架构学习。
• 该框架具有通用性，支持广泛的张量学习问题，包括张量分解和张量补全。
• 该算法利用张量网络的数学结构，统一并推广了现有分解模型。
• 参数更新通过基于梯度的优化完成，确保端到端可微分性与可扩展性。

实验结果

研究问题

• RQ1 能否开发一种统一的、自适应的框架，以自动发现最优张量网络架构，而无需人工指定秩或模型选择？
• RQ2 贪婪的、可微的边添加策略在多大程度上能识别出紧凑的张量网络结构，并在真实和合成数据上实现良好泛化？
• RQ3 与固定张量分解模型（如CP、Tucker）相比，所提方法在准确率和参数效率方面能提升多少？
• RQ4 该算法能否在多样化的张量学习任务（如张量补全和分解）中实现良好泛化？

主要发现

• 所提出的自适应算法发现的张量网络结构参数量显著少于标准的固定秩模型，同时保持或提升了性能。
• 在合成数据上的实验表明，该方法能以高精度和低秩成功恢复底层张量结构。
• 在真实世界张量补全任务中，该算法实现了与最先进基线方法相当或更优的性能。
• 该方法在多种数据类型和张量分解模型中表现出鲁棒性，证实了其广泛适用性。
• 贪婪的、可微的边选择过程实现了高效收敛与稳定优化，且无需人工调参。