[论文解读] A Multi-Scale Tensor Network Architecture for Classification and Regression

Justin Reyes, Miles Stoudenmire|arXiv (Cornell University)|Jan 22, 2020

Computational Physics and Python Applications被引用 12

一句话总结

本文提出一种多尺度张量网络架构，通过MERA层实现基于小波的粗粒化，以增强监督学习，随后对矩阵乘积态（MPS）进行分类和回归训练。关键贡献在于能够以极低性能损失将训练好的MPS模型反向细粒化至网络中，从而实现高效初始化更高分辨率模型，相比在更细尺度上直接随机初始化，其准确率得到提升。

ABSTRACT

We present an algorithm for supervised learning using tensor networks, employing a step of preprocessing the data by coarse-graining through a sequence of wavelet transformations. We represent these transformations as a set of tensor network layers identical to those in a multi-scale entanglement renormalization ansatz (MERA) tensor network, and perform supervised learning and regression tasks through a model based on a matrix product state (MPS) tensor network acting on the coarse-grained data. Because the entire model consists of tensor contractions (apart from the initial non-linear feature map), we can adaptively fine-grain the optimized MPS model backwards through the layers with essentially no loss in performance. The MPS itself is trained using an adaptive algorithm based on the density matrix renormalization group (DMRG) algorithm. We test our methods by performing a classification task on audio data and a regression task on temperature time-series data, studying the dependence of training accuracy on the number of coarse-graining layers and showing how fine-graining through the network may be used to initialize models with access to finer-scale features.

研究动机与目标

• 开发一种基于张量网络的机器学习模型，利用分层数据表示以提升泛化能力。
• 解决在高维学习任务中模型表达能力与参数效率之间的平衡挑战。
• 通过将训练好的粗粒度模型细粒化至更细分辨率，实现自适应模型初始化，且不造成性能下降。
• 探究基于小波的粗粒化深度对分类与回归任务中模型准确率的影响。
• 证明利用张量网络变换实现可逆、可扩展模型训练的可行性，并展现其理论与实际优势。

提出的方法

• 使用一系列近似为MERA张量网络层的小波变换对输入数据进行预处理，以降低维度并捕捉多尺度特征。
• 将模型权重表示为作用于粗粒化数据上的矩阵乘积态（MPS）张量网络，实现高效的参数化与收缩计算。
• 采用基于密度矩阵密度矩阵重正化群（DMRG）方法的自适应算法训练MPS，优化过程使用交替最小二乘法。
• 将训练好的MPS模型通过MERA层反向细粒化，将其投影至更细分辨率的特征空间，同时保持输出性能。
• 将细粒化后的模型用作在更细尺度上进一步优化的初始化，从而提升收敛速度与准确率。
• 将该架构应用于音频分类与温度时间序列回归任务，在不同粗粒化层数下评估性能表现。

实验结果

研究问题

• RQ1 基于小波的粗粒化层数如何影响分类与回归模型的准确率？
• RQ2 训练好的粗粒度模型是否能有效细粒化至更细分辨率而无性能损失，从而实现更优初始化？
• RQ3 通过细粒化粗粒度预训练模型来初始化更细尺度模型，相比在相同尺度上直接随机初始化，能获得多大的性能提升？
• RQ4 与标准卷积神经网络（CNNs）相比，使用小波近似MERA层在分层特征学习与参数效率方面表现如何？
• RQ5 在调整粗粒化层数时，模型表达能力与计算效率之间的最优权衡是什么？

主要发现

• 在N_d4+1层粗粒度下训练后细粒化至N_d4层，其准确率高于直接在N_d4层训练，证明了分层初始化的优势。
• 在温度回归任务中，平均绝对误差⟨ε⟩随粗粒化层数增加而减小，表明更深的小波预处理可提升模型性能。
• 对训练好的模型进行细粒化可保持其输出性能，从而提供一种可逆且高效的高分辨率模型初始化方法。
• 即使优化步数相同，通过细粒化初始化的模型在准确率上也显著优于同尺度下的随机初始化。
• 该架构表明，基于小波的MERA层能有效捕捉数据中的多尺度相关性，且层数需根据数据的内在关联长度进行调整，以维持准确率。
• 该方法提供了一套可扩展且自适应的框架，通过受控的粗粒化与细粒化，实现模型复杂度、效率与泛化能力的平衡。