[论文解读] Linear Algebra and Duality of Neural Networks

Galin Georgiev|arXiv (Cornell University)|Sep 12, 2018

Neural Networks and Applications参考文献 25被引用 3

一句话总结

本文通过形式化可观测量（如像素）与观测值（如训练样本）之间的对偶性，引入了一套线性代数框架，利用基、投影、度量和变分法，为神经网络提供了一套受物理学启发、数学上严谨的训练动力学与降维基础。该框架从变分原理推导出反向传播与受限玻尔兹曼机（RBM）的权重更新规则。

ABSTRACT

Bases, mappings, projections and metrics, natural for Neural network training, are introduced. Graph-theoretical interpretation is offered. Non-Gaussianity naturally emerges, even in relatively simple datasets. Training statistics, hierarchies and energies are analyzed, from physics point of view. Duality between observables (for example, pixels) and observations is established. Relationship between exact and numerical solutions is studied. Physics and financial mathematics interpretations of a key problem are offered. Examples support all new concepts.

研究动机与目标

• 通过线性代数形式化神经网络中可观测量（如像素强度）与观测值（如训练样本）之间的正式对偶性。
• 将神经网络训练建模为一个变分问题，通过作用量泛函最小化重构误差。
• 通过拉格朗日作用量的偏导数，从第一性原理推导出标准的反向传播与RBM权重更新规则。
• 从物理学与金融数学的角度，分析训练统计、非高斯性与分层结构。
• 提供使用SVD与对偶架构（包括自编码器与RBM）进行降维的精确线性代数解。

提出的方法

• 将训练数据形式化为P×N矩阵X，其中可观测量为列，观测值为行，并为可观测量与观测值空间引入对偶空间。
• 引入训练映射T与T′、共轭可观测量、投影P与P′，以及可观测量空间与观测值空间中的度量。
• 对作用量泛函S应用变分法，通过关于X、Y、W^(1)、W^(2)及拉格朗日乘子Z与Ẑ的偏导数，最小化重构误差。
• 通过令作用量的偏导数为零，推导出反向传播更新规则，得到ΔW^(2) = -δY^T ΔX与ΔW^(1) = -δX(0)^T Z。
• 对于权重共享的情况，推导出RBM更新规则ΔW^(1) ≈ -δ(ΔX^T Y + X(0)^T ΔY)，并利用格拉姆矩阵G(m)简化为ΔW^(1) ≈ -δΔG(m)W^(1)。
• 引入网络层与训练动力学的图论解释，将其与物理概念（如平衡、噪声与费米子化）联系起来。

实验结果

研究问题

• RQ1 如何利用线性代数结构对神经网络中的可观测量与观测值进行正式对偶化？
• RQ2 标准反向传播的变分原理是什么？它如何从拉格朗日作用量中自然涌现？
• RQ3 为自编码器与RBM推导出的权重更新规则如何与SVD等精确线性代数解相关联？
• RQ4 在简单数据集的训练动力学中，非高斯性以何种方式自然出现？
• RQ5 如何将平衡、分层与统计力学的概念应用于理解神经网络训练？

主要发现

• 本文从变分原理推导出标准的反向传播更新规则，表明权重更新对应于拉格朗日作用量泛函偏导数为零。
• 对于权重共享的情况，推导出的更新规则与RBM学习规则一致，其中ΔW^(1) ≈ -δΔG(m)W^(1)，ΔG(m)为格拉姆矩阵的变化量。
• 重构误差向量-ΔX(m) = Ẑ(m)被识别为负的拉格朗日乘子，反向传播误差Z(m)通过Z(m) = Ẑ(m)W^(2)^T计算得出。
• 该框架建立了可观测量与观测值之间的对偶性，共轭与逆映射使得输入与输出空间可对称处理。
• 即使在简单数据集中，由于训练映射与投影的结构，非高斯性在训练分布中自然出现。
• 降维的精确线性代数解被证明等价于奇异值分解（SVD），且对偶自编码器架构保持了该结构。