[论文解读] Generative modeling with projected entangled-pair states

Tom Vieijra, Laurens Vanderstraeten+1 more|arXiv (Cornell University)|Feb 16, 2022

Neural Networks and Applications被引用 9

一句话总结

本文提出使用投影纠缠对态（PEPS）对二维数据集（如图像）进行生成建模，利用其固有的二维结构高效捕捉空间相关性。该方法采用直接采样算法，通过最大化对数似然来优化PEPS波函数，即使在较低的键维数下，也在MNIST数据集上实现了最先进水平的负对数似然得分，优于矩阵乘积态（MPS）和树张量网络（TTN）。

ABSTRACT

We argue and demonstrate that projected entangled-pair states (PEPS) outperform matrix product states significantly for the task of generative modeling of datasets with an intrinsic two-dimensional structure such as images. Our approach builds on a recently introduced algorithm for sampling PEPS, which allows for the efficient optimization and sampling of the distributions.

研究动机与目标

• 为解决一维张量网络（如MPS）在建模二维数据（如图像）方面的局限性。
• 实现利用PEPS对二维数据集进行高效生成建模，其天然编码空间相关性。
• 开发并应用一种基于对数似然最大化优化PEPS波函数的直接采样算法。
• 证明PEPS在使用更少每站点参数的情况下，泛化能力优于MPS和TTN。
• 探索PEPS通过块对角张量分解实现无监督聚类的潜力。

提出的方法

• 将局部能量基模型重新表述为PEPS波函数，以表示玻尔兹曼分布。
• 使用直接采样算法通过最大化训练数据的对数似然来优化PEPS张量网络参数。
• 从PEPS波函数振幅的平方构建概率分布，确保高效采样与优化。
• 将该方法应用于精确可解情形（条纹与条纹）和真实世界数据集（二值化MNIST）。
• 利用PEPS的多模态分解识别块对角结构，为潜在的无监督聚类提供支持。
• 通过逐步增加键维数D来优化PEPS，以研究泛化与过拟合行为。

实验结果

研究问题

• RQ1 PEPS能否在二维图像数据的生成建模中优于一维张量网络（如MPS和TTN）？
• RQ2 PEPS的二维结构相比一维方法在建模空间相关性方面有何改进？
• RQ3 尽管键维数较低，基于PEPS的模型是否比MPS具有更好的泛化能力并避免过拟合？
• RQ4 能否利用PEPS波函数的多模态结构实现数据的无监督聚类？
• RQ5 在图像数据集中，随着键维数增加，PEPS的负对数似然的缩放行为如何？

主要发现

• 在键维数D=4时，PEPS模型在二值化MNIST测试集上实现了91.2的负对数似然，优于MPS（101.5）、一维TTN（96.9）和二维TTN（94.3）。
• 即使每站点仅使用5,120个参数（D=4，10个模态），PEPS的对数似然仍优于每站点使用20,000个参数的MPS（D=100）。
• PEPS模型未表现出过拟合迹象，而MPS在D > N_data时因过度记忆而出现过拟合。
• 模型泛化良好，表现为随着键维数增加，对数似然持续提升，表明对数据分布实现了高效参数化。
• 从优化后的PEPS分布生成的样本展现出真实的图像结构，证明了其强大的生成能力。
• PEPS波函数的块对角分解表明，其可能基于底层分布的多模态性，实现无监督聚类。