[论文解读] Expressive power of tensor-network factorizations for probabilistic modeling, with applications from hidden Markov models to quantum machine learning

Ivan Glasser, Ryan Sweke+3 more|arXiv (Cornell University)|Jul 8, 2019

Quantum many-body systems参考文献 11被引用 24

一句话总结

本文对张量网络因子分解在概率建模中的应用进行了严格分析，比较了非负张量链（等价于HMM）、玻恩机器（实数与复数）并引入了局部纯化态（LPS）。研究证明了不同模型在资源需求上存在无界分离，表明复张量可带来任意大的表达优势，并在随机数据与真实数据上均表明LPS优于HMM与玻恩机器，因此在概率建模与量子机器学习应用中更具优势。

ABSTRACT

Tensor-network techniques have enjoyed outstanding success in physics, and have recently attracted attention in machine learning, both as a tool for the formulation of new learning algorithms and for enhancing the mathematical understanding of existing methods. Inspired by these developments, and the natural correspondence between tensor networks and probabilistic graphical models, we provide a rigorous analysis of the expressive power of various tensor-network factorizations of discrete multivariate probability distributions. These factorizations include non-negative tensor-trains/MPS, which are in correspondence with hidden Markov models, and Born machines, which are naturally related to local quantum circuits. When used to model probability distributions, they exhibit tractable likelihoods and admit efficient learning algorithms. Interestingly, we prove that there exist probability distributions for which there are unbounded separations between the resource requirements of some of these tensor-network factorizations. Particularly surprising is the fact that using complex instead of real tensors can lead to an arbitrarily large reduction in the number of parameters of the network. Additionally, we introduce locally purified states (LPS), a new factorization inspired by techniques for the simulation of quantum systems, with provably better expressive power than all other representations considered. The ramifications of this result are explored through numerical experiments. Our findings imply that LPS should be considered over hidden Markov models, and furthermore provide guidelines for the design of local quantum circuits for probabilistic modeling.

研究动机与目标

• 对离散多变量概率分布的张量网络因子分解的表达能力进行严格分析。
• 比较非负张量链（HMM）、玻恩机器（实数与复数），并引入局部纯化态（LPS）作为新型因子分解。
• 确定在何种情况下以及为何某些张量网络模型在建模相同分布时所需参数显著少于其他模型。
• 为概率建模与量子机器学习中的张量网络模型选择提供理论与实证指导。
• 证明LPS在表达能力上优于现有模型，同时保持高效的学习算法。

提出的方法

• 作者使用非负张量链（MPS）、玻恩机器（BM）分析离散多变量概率分布的张量网络因子分解，并引入受量子模拟技术启发的局部纯化态（LPS）作为新型因子分解。
• 他们证明了存在某些概率分布，使得不同模型所需的网络秩或参数数量之间存在无界因子差异，尤其表明复张量可将参数数量任意减少。
• 该方法包括通过均匀随机采样构造概率张量并进行归一化，随后使用固定秩张量网络最小化目标分布与近似分布之间的KL散度。
• 为实证验证，他们在合成随机张量与真实世界数据集（如biofam、Lymphography、SPECT Heart）上执行最大似然估计，使用MPS、BM与LPS，参数秩与参数数量各异。
• 通过每样本负对数似然比较性能，评估模型包括HMM（通过Baum-Welch算法）、基于学习图结构的贝叶斯网络，以及带与不带正则化的张量网络模型。
• 理论分析包括无界资源需求差异与复张量相对于实张量的表达优势的证明，辅以20×20矩阵与8元二值变量张量的数值实验。

实验结果

研究问题

• RQ1 张量网络因子分解能否在逼近概率分布方面显著优于HMM或玻恩机器等标准模型？
• RQ2 是否存在某些分布，使得某一类张量网络模型所需参数数量相比另一类模型无界地更少？
• RQ3 使用复张量而非实张量是否能对同一分布建模实现参数数量的任意大幅减少？
• RQ4 能否构建一种新型张量网络因子分解，使其在表达能力上严格优于现有模型，同时保持高效学习？
• RQ5 这些理论优势在真实世界数据集上的实际性能表现如何？

主要发现

• 存在某些概率分布，使得不同张量网络模型所需的网络秩或参数数量之间存在无界因子差异，表明不存在一种模型能始终占优。
• 使用复张量而非实张量可使表示某些分布所需的参数数量任意大幅减少，表明存在显著的表达优势。
• 局部纯化态（LPS）在表达能力上严格优于非负张量链（HMM）与玻恩机器，使LPS成为概率建模的更优选择。
• 数值实验表明，对于固定秩或固定实数参数数量，复玻恩机器与LPS在逼近精度上显著优于实值模型，尤其在随机张量与真实数据集上表现更优。
• 在biofam、Lymphography与SPECT Heart等真实世界数据集上，LPS与玻恩机器模型的负对数似然显著低于HMM与MPS，即使在相同秩下亦然。
• 尽管优化算法不同，HMM与非负张量链（MPS）表现相近，证实了其在表达能力上的理论等价性。