[论文解读] Generalization and Overfitting in Matrix Product State Machine Learning Architectures

Artem Strashko, E. Miles Stoudenmire|arXiv (Cornell University)|Aug 8, 2022

Parallel Computing and Optimization Techniques被引用 6

一句话总结

本文通过在可由MPS精确表示的人工数据和MNIST数据上进行训练，研究了矩阵乘积态（MPS）机器学习模型中的泛化与过拟合问题。研究发现，当纠缠维度超过最优值时，一维数据会出现过拟合，但在MNIST数据上则不会，表明MPS的泛化能力在很大程度上取决于数据的结构和复杂度。

ABSTRACT

While overfitting and, more generally, double descent are ubiquitous in machine learning, increasing the number of parameters of the most widely used tensor network, the matrix product state (MPS), has generally lead to monotonic improvement of test performance in previous studies. To better understand the generalization properties of architectures parameterized by MPS, we construct artificial data which can be exactly modeled by an MPS and train the models with different number of parameters. We observe model overfitting for one-dimensional data, but also find that for more complex data overfitting is less significant, while with MNIST image data we do not find any signatures of overfitting. We speculate that generalization properties of MPS depend on the properties of data: with one-dimensional data (for which the MPS ansatz is the most suitable) MPS is prone to overfitting, while with more complex data which cannot be fit by MPS exactly, overfitting may be much less significant.

研究动机与目标

• 研究矩阵乘积态（MPS）的纠缠维度增加如何影响机器学习中的模型泛化与过拟合。
• 确定在有限数据集上训练的MPS模型中是否会出现双下降或U形测试损失曲线。
• 比较具有精确MPS表示的人工数据与真实世界数据（如MNIST）之间的泛化行为。
• 探索数据复杂度、训练集大小与最优纠缠维度之间在泛化方面的相互作用。
• 评估模型容量与数据结构在决定张量网络学习架构中过拟合问题中的作用。

提出的方法

• 构建可由已知纠缠维度的MPS精确表示的人工回归数据集。
• 使用两种方法训练MPS模型：基于张量反演的压缩方法与基于DMRG的梯度优化方法。
• 系统性地改变纠缠维度（χ）与训练集大小，以评估不同模型容量下的测试性能。
• 使用多项式基数据分布，通过参数ε控制复杂度，以探测泛化的极限。
• 将相同的MPS架构应用于MNIST图像数据，以比较其与人工数据的泛化行为。
• 分析测试损失随纠缠维度的变化，以检测U形（过拟合）或单调（双下降）行为。

实验结果

研究问题

• RQ1 在有限训练数据上，增加MPS的纠缠维度是否会导致过拟合，特别是在数据可被MPS精确表示的情况下？
• RQ2 底层数据分布的复杂度在多大程度上影响MPS模型的最优纠缠维度与泛化性能？
• RQ3 MPS在具有精确MPS表示的人工数据与真实世界图像数据（如MNIST）之间的泛化行为是否存在显著差异？
• RQ4 训练数据量在多大程度上影响MPS模型的最优纠缠维度与过拟合的出现？
• RQ5 为何在理论上更简单的可被MPS精确表示的数据上训练MPS，反而比在MNIST上更困难？

主要发现

• 在低复杂度的一维人工数据上训练MPS模型时观察到过拟合，测试损失在最优纠缠维度χ*之后开始上升。
• 对于更高复杂度的数据（ε = 1.0），过拟合显著减少，增加纠缠维度可持续提升测试性能，且无U形损失曲线。
• 在MNIST图像数据上，随着纠缠维度增加，测试性能单调提升，未出现过拟合或双下降行为的迹象。
• 最优纠缠维度χ*小于精确表示数据所需的维度，且随数据复杂度与训练集大小的增加而增大。
• 训练效率因数据类型而异：尽管理论上更简单，但在可被MPS精确表示的人工数据上训练MPS更具挑战性。
• MPS的泛化特性并非普适，而是取决于数据结构、复杂度与模型容量之间的相互作用，表明可通过有限纠缠维度实现数据依赖的正则化。