[论文解读] Theoretical Properties for Neural Networks with Weight Matrices of Low Displacement Rank

Liang Zhao, Siyu Liao+5 more|arXiv (Cornell University)|Mar 1, 2017

Neural Networks and Applications被引用 41

一句话总结

本文建立了低位移秩（LDR）神经网络的理论基础，证明其具备通用逼近性质，并实现与非结构化网络相当的误差界。文中提出一种用于训练LDR网络的反向传播算法，表明结构化矩阵可显著减少模型大小与计算时间，同时保持精度。

ABSTRACT

Recently low displacement rank (LDR) matrices, or so-called structured matrices, have been proposed to compress large-scale neural networks. Empirical results have shown that neural networks with weight matrices of LDR matrices, referred as LDR neural networks, can achieve significant reduction in space and computational complexity while retaining high accuracy. We formally study LDR matrices in deep learning. First, we prove the universal approximation property of LDR neural networks with a mild condition on the displacement operators. We then show that the error bounds of LDR neural networks are as efficient as general neural networks with both single-layer and multiple-layer structure. Finally, we propose back-propagation based training algorithm for general LDR neural networks.

研究动机与目标

• 建立低位移秩（LDR）神经网络的理论基础，此类网络在实践中表现有效，但缺乏正式理论支持。
• 证明LDR神经网络在容量足够时可对任意连续函数实现任意精度逼近，确保其表征能力不因压缩而受损。
• 分析并比较LDR网络与标准非结构化神经网络的误差界。
• 设计一种专用于通用LDR神经网络的反向传播训练算法，实现端到端训练而无需重新训练。
• 证明LDR矩阵可在不损失模型有效性的前提下，实现存储（O(n) vs O(n²)）与计算（O(n log n) vs O(n²)）的渐近复杂度降低。

提出的方法

• 在位移算子满足温和条件的假设下，对LDR神经网络的通用逼近性质进行理论分析。
• 推导LDR网络的误差界，表明其在单层与深层架构中，效率至少与一般神经网络相当。
• 通过将权重矩阵表示为结构化矩阵（如 A_i, B_i, G_i, H_i）的乘积，并利用矩阵位移秩性质，设计LDR网络的反向传播算法。
• 利用快速矩阵-向量乘法算法（如Toeplitz与循环矩阵的FFT），将计算复杂度从O(n²)降低至O(n log n)。
• 通过位移算子对LDR权重矩阵进行参数化，使矩阵仅需O(n)个参数表示而非O(n²)个，从而实现高效存储与计算。
• 通过链式法则推导梯度，将梯度计算分解至各结构化组件（G_i, H_i, A_i, B_i）中，以保持计算效率。

实验结果

研究问题

• RQ1 在容量足够的情况下，LDR神经网络是否能对任意连续函数实现任意精度逼近？
• RQ2 LDR网络的泛化误差界与标准非结构化神经网络相比如何？
• RQ3 能否设计一种高效的反向传播算法用于训练LDR神经网络，同时不损失计算效率？
• RQ4 LDR矩阵是否可在保持模型精度的前提下，实现存储与计算的Big-O复杂度降低？
• RQ5 在结构化权重矩阵约束下，LDR网络的表征能力具有哪些理论保证？

主要发现

• 在位移算子满足温和条件时，LDR神经网络满足通用逼近性质，证明其可对任意连续函数实现任意精度逼近。
• LDR网络的误差界至少与一般非结构化神经网络相当，无论在单层还是深层架构中。
• 通过将权重矩阵分解为结构化组件（A_i, B_i, G_i, H_i），开发出适用于LDR网络的反向传播算法，实现高效梯度计算。
• 利用快速矩阵-向量乘法算法，存储复杂度从O(n²)降低至O(n)，计算复杂度从O(n²)降低至O(n log n)或O(n log² n)。
• 对于特定结构化矩阵（如Toeplitz与循环矩阵），参数数量减少至O(2n)，并通过FFT加速矩阵-向量乘法，实现O(n log n)复杂度。
• 理论分析证实，尽管经历显著压缩，LDR网络仍能保持高精度，支持其在内存与能效受限环境中的应用。