[论文解读] Analytic Network Learning

Kar-Ann Toh|arXiv (Cornell University)|Nov 20, 2018

Neural Networks and Applications参考文献 34被引用 8

一句话总结

该论文提出了一种基于Moore-Penrose逆投影的分析性、无梯度学习方法，用于多层神经网络，可在无需反向传播的情况下实现逐层权重计算。通过利用Moore-Penrose逆的最小二乘逼近特性，该方法在小型到中型数据集上实现了比SGD快达3470万倍的训练速度，同时保持了相近的泛化性能。

ABSTRACT

Based on the property that solving the system of linear matrix equations via the column space and the row space projections boils down to an approximation in the least squares error sense, a formulation for learning the weight matrices of the multilayer network can be derived. By exploiting into the vast number of feasible solutions of these interdependent weight matrices, the learning can be performed analytically layer by layer without needing of gradient computation after an initialization. Possible initialization schemes include utilizing the data matrix as initial weights and random initialization. The study is followed by an investigation into the representation capability and the output variance of the learning scheme. An extensive experimentation on synthetic and real-world data sets validates its numerical feasibility.

研究动机与目标

• 开发一种基于线性代数原理的无梯度、分析性学习框架，用于多层神经网络。
• 研究此类分析性学习方案的表征能力和泛化能力。
• 在真实世界和合成的小型到中型数据集上验证其数值可行性与性能表现。
• 探索权重初始化、缩放和稀疏性对泛化性能的影响。
• 为深度网络中的反向传播训练提供一种透明且可分析的替代方案。

提出的方法

• 通过Moore-Penrose逆的列空间和行空间投影，将网络学习建模为最小二乘逼近问题。
• 利用线性系统的代数结构，推导出各层之间的相互依赖权重矩阵方程。
• 通过使用数据矩阵或随机矩阵初始化内部权重矩阵，解耦这种相互依赖关系。
• 在无需梯度计算或迭代优化的情况下，实现逐层的分析性权重矩阵计算。
• 利用Moore-Penrose逆将投影映射到列空间和行空间，确保获得最优的最小二乘解。
• 采用结构化初始化（例如，将数据矩阵作为初始权重），以利用庞大的解空间并提升泛化性能。

实验结果

研究问题

• RQ1 是否可以实现无需梯度计算的多层神经网络分析性学习？
• RQ2 基于Moore-Penrose逆的分析性解法在准确率和速度方面与基于梯度的方法相比如何？
• RQ3 在所提出的框架中，权重缩放和稀疏性对泛化性能有何影响？
• RQ4 在网络深度增加时，该分析性学习方案中的表征能力和泛化性能如何变化？
• RQ5 是否可以通过智能初始化，有效利用相互依赖权重矩阵的解空间以提升泛化性能？

主要发现

• 所提出的分析性学习方法相比传统基于梯度的学习方法，实现了最高达3.47×10⁷倍的训练速度提升。
• 在42个真实世界数据集上，该分析性方法的预测准确率与标准基于梯度的训练方法相当。
• 五层网络在整体平均准确率上，相比两层和三层网络提升了超过2%。
• 在两层和三层网络中，权重缩放对泛化性能的影响比感受野稀疏性更为显著。
• 该方法在两层、三层和五层网络架构中均表现出良好的数值可行性，且稳定性问题极少。
• 使用数据矩阵作为初始权重或采用随机初始化，能够有效解耦相互依赖的权重方程，从而实现分析性求解。