[论文解读] Tensor networks and efficient descriptions of classical data

Sirui Lu, Márton Kanász-Nagy+2 more|arXiv (Cornell University)|Mar 11, 2021

Tensor decomposition and applications参考文献 80被引用 10

一句话总结

本文通过分析文本和图像数据集中互信息（MI）的标度行为，研究了张量网络（TN）方法在经典数据上的可扩展性。利用基于自回归神经网络和卷积神经网络的MI估计器，研究发现：文本表现出接近体积律的MI标度（ν ≈ 1），排除了MPS等高效一维TN的可能性；而图像则表现出面积律标度，支持使用PEPS等二维TN实现高效表示。

ABSTRACT

We investigate the potential of tensor network based machine learning methods to scale to large image and text data sets. For that, we study how the mutual information between a subregion and its complement scales with the subsystem size $L$, similarly to how it is done in quantum many-body physics. We find that for text, the mutual information scales as a power law $L^ν$ with a close to volume law exponent, indicating that text cannot be efficiently described by 1D tensor networks. For images, the scaling is close to an area law, hinting at 2D tensor networks such as PEPS could have an adequate expressibility. For the numerical analysis, we introduce a mutual information estimator based on autoregressive networks, and we also use convolutional neural networks in a neural estimator method.

研究动机与目标

• 评估张量网络是否能够高效表示图像和文本等经典数据。
• 确定自然数据中子区域与其补集之间互信息（MI）的标度行为。
• 基于MI标度，评估一维和二维张量网络（如MPS、PEPS）在图像和文本数据表示中的适用性。
• 开发并应用基于神经网络的MI估计器，以在高维数据中实现精确的MI估计。
• 通过将MI标度与张量网络表达能力关联，指导高效机器学习模型的设计。

提出的方法

• 提出一种基于自回归神经网络的互信息估计器，用于估计高维数据中的MI。
• 在神经估计器框架中使用卷积神经网络，计算图像分区的MI。
• 以k-最近邻（kNN）作为基线估计器进行比较，并通过重标度校正偏差。
• 对MNIST图像应用平移不变性，以消除边缘效应，提升MI估计的准确性。
• 在图像数据集中分析不同分区（如中心与周围、顶部与底部）的MI标度行为。
• 将观测到的MI标度与量子多体物理中的理论预期（如面积律和体积律）进行比较。

实验结果

研究问题

• RQ1 文本数据中，子区域与其补集之间的互信息是否按幂律标度，其指数ν为何值？
• RQ2 图像数据是否表现出面积律或体积律的互信息标度，表明其适合使用二维张量网络？
• RQ3 基于神经网络的MI估计器能否准确捕捉高维经典数据中的MI标度？
• RQ4 尽管具有相似的幂律相关性，为何自然语言中的MI标度与临界量子系统不同？
• RQ5 MI标度对机器学习模型中张量网络架构选择有何启示？

主要发现

• 文本数据表现出幂律形式的互信息标度，指数ν ≈ 1，表明接近体积律标度，这排除了MPS等一维张量网络对文本实现高效表示的可能性。
• 经平移不变性处理后的MNIST图像数据表现出清晰的面积律标度，支持使用PEPS等二维张量网络对图像进行高效表示。
• Fashion-MNIST和CIFAR-10数据集结果混合：中心-周围分区符合面积律，但顶部-底部分区显示出快于面积律的标度，表明存在更复杂的关联性。
• 文本中观测到的接近体积律的MI标度与临界系统中预期的对数标度相矛盾，表明文本中的幂律相关性并不意味着类似临界系统的MI行为。
• 一个简单的玩具模型表明，经典分布中的代数相关性并不必然导致对数形式的MI标度，这挑战了语言树状模型中的既有假设。
• 结果表明，对于图像和文本等复杂数据的高效建模，需要更广义的张量网络架构，或结合TN与神经网络的混合模型。