[论文解读] Fast Computation of Moore-Penrose Inverse Matrices

Pierre Courrieu|ArXiv.org|Apr 30, 2008

Neural Networks and Applications参考文献 9被引用 25

一句话总结

本文提出了一种利用满秩Cholesky分解快速计算Moore-Penrose逆矩阵的算法，显著减少了大规模系统计算所需的时间。该方法生成的伪逆矩阵与现有方法相当，但在效率方面表现更优，尤其在神经网络权重学习中，当秩亏和最小范数解对正则化至关重要时，优势更为明显。

ABSTRACT

Many neural learning algorithms require to solve large least square systems in order to obtain synaptic weights. Moore-Penrose inverse matrices allow for solving such systems, even with rank deficiency, and they provide minimum-norm vectors of synaptic weights, which contribute to the regularization of the input-output mapping. It is thus of interest to develop fast and accurate algorithms for computing Moore-Penrose inverse matrices. In this paper, an algorithm based on a full rank Cholesky factorization is proposed. The resulting pseudoinverse matrices are similar to those provided by other algorithms. However the computation time is substantially shorter, particularly for large systems.

研究动机与目标

• 开发一种更快、更准确的Moore-Penrose逆矩阵计算方法，适用于神经网络应用。
• 解决具有潜在秩亏的大规模最小二乘系统求解带来的计算负担。
• 提供最小范数的突触权重向量，以在学习算法中对输入-输出映射进行正则化。
• 在大规模问题中，相比现有伪逆计算技术，提升计算效率。

提出的方法

• 该算法采用满秩Cholesky分解，高效计算Moore-Penrose逆矩阵。
• 利用正规方程的结构，避免完整矩阵求逆。
• 通过使用秩揭示分解，确保数值稳定性。
• 所得伪逆矩阵用于计算突触权重 W = G⁺F，纠正了原始论文中错误表述的笔误，即原为 W = G⁺W，现更正为 W = G⁺F。
• 该方法专为需要正则化和对秩亏具有鲁棒性的神经学习算法而设计。

实验结果

研究问题

• RQ1 是否可以在不牺牲精度的前提下，更高效地计算大规模系统的Moore-Penrose逆矩阵？
• RQ2 所提出的基于Cholesky的方法在速度上与现有伪逆计算技术相比如何？
• RQ3 该算法是否保持了对神经网络正则化至关重要的突触权重的最小范数特性？
• RQ4 秩亏对所提出方法性能的影响如何？

主要发现

• 与传统方法相比，所提出的算法在计算大规模系统时显著提升了计算速度。
• 计算得到的Moore-Penrose逆矩阵在数值上与其它成熟算法生成的结果等价。
• 该方法能有效处理秩亏矩阵，确保解的稳定性和合理性。
• 将笔误 W = G⁺F 修正为 W = G⁺F，确认了伪逆在权重计算中的正确应用。