[论文解读] Compact Neural Networks based on the Multiscale Entanglement Renormalization Ansatz

Andrew Hallam, Edward Grant+3 more|arXiv (Cornell University)|Nov 9, 2017

Quantum many-body systems参考文献 19被引用 6

一句话总结

本文提出用基于多尺度纠缠重正化组态（MERA）的张量化全连接层替代卷积神经网络中的全连接层，在CIFAR-10上实现14,000倍参数压缩，且准确率损失低于1%。MERA在压缩效率和准确率保持方面优于张量列车分解，展现出适用于紧凑深度学习模型的分层、尺度不变表征学习能力。

ABSTRACT

This paper demonstrates a method for tensorizing neural networks based upon an efficient way of approximating scale invariant quantum states, the Multi-scale Entanglement Renormalization Ansatz (MERA). We employ MERA as a replacement for the fully connected layers in a convolutional neural network and test this implementation on the CIFAR-10 and CIFAR-100 datasets. The proposed method outperforms factorization using tensor trains, providing greater compression for the same level of accuracy and greater accuracy for the same level of compression. We demonstrate MERA layers with 14000 times fewer parameters and a reduction in accuracy of less than 1% compared to the equivalent fully connected layers, scaling like O(N).

研究动机与目标

• 通过在不显著损失准确率的情况下压缩全连接层，缓解深度学习中的维度灾难问题。
• 探究来自量子多体物理的张量网络MERA是否可作为神经网络中标准线性层的有效、紧凑替代方案。
• 从参数效率和准确率角度，对比MERA压缩方法与现有方法（如张量列车）的性能。
• 研究分层、尺度不变张量分解在建模深度学习中复杂数据相关性方面的潜力。

提出的方法

• 作者将全连接层的权重矩阵重塑为高阶张量，以将其表示为多尺度纠缠重正化组态（MERA）网络。
• MERA层通过等等距和解纠缠算符构建，实现对输入特征在多尺度上的分层粗粒化。
• MERA结构通过其多级重正化过程，实现高效的张量收缩，从而保留长程相关性。
• 该方法将卷积神经网络中的标准全连接层替换为MERA层，同时保持网络的整体架构和训练协议不变。
• 作者在CIFAR-10和CIFAR-100数据集上训练并评估了基于MERA的网络，与标准模型及张量列车压缩模型进行性能对比。
• 输入特征被重塑为秩为12的张量，以匹配MERA的分层结构，尽管最优重塑方式仍是开放问题。

实验结果

研究问题

• RQ1 基于MERA的张量分解能否在保持准确率的前提下，有效压缩深度神经网络中的全连接层？
• RQ2 在图像分类任务中，基于MERA的压缩方法与张量列车分解相比，在参数效率和准确率方面表现如何？
• RQ3 MERA的分层多尺度结构是否比缺乏解纠缠器的低阶张量网络更有效地捕捉图像数据中的长程相关性？
• RQ4 使用MERA层与标准层或张量列车压缩层相比，模型压缩与准确率之间的权衡如何？
• RQ5 MERA的粗粒化机制是否可被利用以提升深度学习模型的泛化能力并减少过拟合？

主要发现

• 在CIFAR-10数据集上，基于MERA的层相较于标准全连接层实现了14,000倍的参数压缩，测试准确率损失低于1%。
• MERA模型在参数量仅为张量列车模型的1/70至1/100时，仍优于后者，展现出更优的压缩-准确率权衡。
• 在相同压缩水平下，MERA实现的准确率高于张量列车分解；在相同准确率水平下，MERA实现了更大的压缩比。
• 在CIFAR-100上，尽管准确率下降幅度大于CIFAR-10，MERA模型仍优于同等规模的张量列车网络。
• MERA的分层结构相比缺乏解纠缠器的树形张量网络，能更有效地建模长程相关性。
• 该方法在处理更大输入数据集方面展现出潜力，得益于高效的张量收缩和更少的参数量，可能有助于缓解过拟合问题。