[论文解读] From probabilistic graphical models to generalized tensor networks for supervised learning

Ivan Glasser, Nicola Pancotti+1 more|arXiv (Cornell University)|Jun 15, 2018

Computational Physics and Python Applications被引用 10

一句话总结

本文提出广义张量网络，通过允许可重用的张量信息在神经网络中复制与复用，实现高效、可微分的监督学习，克服了标准张量网络在高维情形下的局限性。该方法在图像和音频分类任务中优于传统张量网络（如矩阵乘积态），同时保持经典计算效率，并与量子机器学习架构兼容。

ABSTRACT

Tensor networks have found a wide use in a variety of applications in physics and computer science, recently leading to both theoretical insights as well as practical algorithms in machine learning. In this work we explore the connection between tensor networks and probabilistic graphical models, and show that it motivates the definition of generalized tensor networks where information from a tensor can be copied and reused in other parts of the network. We discuss the relationship between generalized tensor network architectures used in quantum physics, such as string-bond states, and architectures commonly used in machine learning. We provide an algorithm to train these networks in a supervised-learning context and show that they overcome the limitations of regular tensor networks in higher dimensions, while keeping the computation efficient. A method to combine neural networks and tensor networks as part of a common deep learning architecture is also introduced. We benchmark our algorithm for several generalized tensor network architectures on the task of classifying images and sounds, and show that they outperform previously introduced tensor-network algorithms. The models we consider also have a natural implementation on a quantum computer and may guide the development of near-term quantum machine learning architectures.

研究动机与目标

• 通过引入支持信息复制与复用的广义框架，弥合概率图模型与张量网络之间的鸿沟。
• 开发一种无需依赖蒙特卡洛采样的高效、可微分训练算法，用于广义张量网络的监督学习。
• 在图像和音频分类任务中，证明广义张量网络相较于标准张量网络（如MPS）具有更优性能，且所需纠缠维度更低。
• 通过混合架构实现张量网络与深度神经网络的集成。
• 通过建模需要输入复制的量子线路，为近期量子机器学习提供经典基准测试平台。

提出的方法

• 提出广义张量网络，支持张量元素在多个分支间复制，实现复杂几何结构的同时保持高效收缩。
• 将随机梯度下降适配于广义张量网络的端到端训练，避免量子模拟中常用的昂贵蒙特卡洛优化。
• 提出两种混合架构：一种是先用神经网络提取特征，再输入张量网络；另一种是将两者整合于单一深度学习模型中。
• 通过学习网络内部的相关张量特征，实现对实值输入数据的处理，使方法适用于图像和音频任务。
• 采用分层排序策略，确保即使在高维数据结构中，广义网络也能高效收缩。
• 将弦键态（SBS）和纠缠晶格态（EPS）作为广义张量网络的具体实例，展示其表达能力与效率。

实验结果

研究问题

• RQ1 如何扩展张量网络以支持信息复用与复制，从而构建更具表达力的架构？
• RQ2 广义张量网络在图像和音频分类等监督学习任务中，是否能优于标准张量网络？
• RQ3 广义张量网络能否在无需蒙特卡洛采样的情况下实现高效训练，从而在机器学习中实现实际应用？
• RQ4 广义张量网络与经典机器学习模型（如CNN和RBM）之间存在何种关系？
• RQ5 如何在统一、可微分的架构中有效结合张量网络与深度神经网络？

主要发现

• 广义张量网络，特别是弦键态（SBS），在图像和音频分类任务中优于矩阵乘积态（MPS），即使参数更少。
• 在UrbanSound8K数据集上，SBS使用4根弦与纠缠维度5时，训练准确率高于MPS在纠缠维度10时的表现，尽管两者参数量相同。
• SBS模型表现出略优的泛化能力，尽管由于训练数据有限，过拟合现象明显，表明其具有强大表达能力。
• 所提出的训练算法实现了高效、精确的收缩与可微分优化，避免了蒙特卡洛采样的计算开销。
• 该方法支持与神经网络的直接集成，实现结合特征提取与张量建模的混合深度学习架构。
• 广义张量网络为需要输入数据多份拷贝的近期量子机器学习线路提供了自然的经典模拟平台。