[论文解读] Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form

Maxim Naumov|arXiv (Cornell University)|Sep 16, 2017

Neural Networks and Applications参考文献 28被引用 8

一句话总结

本论文提出了前馈神经网络（FNN）和循环神经网络（RNN）的反向传播与海森矩阵计算的矩阵形式，推导出权重梯度为 $ t $ 个时间步上的秩-$ t $ 矩阵，海森矩阵为 $ t^2 $ 个秩-1 矩阵与 $ W^TAW $ 矩阵的克罗内克积之和。此外，论文表明小批量更新为秩-$ rt $，并利用威爾（Weyl）不等式与奇异值不等式推导出海森矩阵的特征值界。

ABSTRACT

In this paper we focus on the linear algebra theory behind feedforward (FNN) and recurrent (RNN) neural networks. We review backward propagation, including backward propagation through time (BPTT). Also, we obtain a new exact expression for Hessian, which represents second order effects. We show that for $t$ time steps the weight gradient can be expressed as a rank-$t$ matrix, while the weight Hessian is as a sum of $t^{2}$ Kronecker products of rank-$1$ and $W^{T}AW$ matrices, for some matrix $A$ and weight matrix $W$. Also, we show that for a mini-batch of size $r$, the weight update can be expressed as a rank-$rt$ matrix. Finally, we briefly comment on the eigenvalues of the Hessian matrix.

研究动机与目标

• 通过线性代数方法，推导前馈神经网络与循环神经网络海森矩阵的精确矩阵表达式。
• 以紧凑的矩阵形式表达前馈神经网络与循环神经网络的权重梯度与更新规则。
• 从克罗内克积与秩-1分量的角度分析海森矩阵的结构。
• 利用威爾定理与奇异值性质，推导海森矩阵特征值的界。
• 为未来基于海森矩阵与梯度结构的新型优化算法开发奠定基础。

提出的方法

• 以矩阵形式推导前馈神经网络与循环神经网络的反向传播及通过时间的反向传播（BPTT）。
• 将循环神经网络在 $ t $ 个时间步上的权重梯度表示为秩-$ t $ 矩阵，前馈神经网络的权重梯度表示为秩-1 矩阵。
• 将海森矩阵表示为 $ t^2 $ 个秩-1 矩阵与 $ W^TAW $ 类型项的克罗内克积之和。
• 利用威爾定理与奇异值不等式，对海森矩阵的特征值进行界约束。
• 引入辅助对称矩阵 $ B^{(k,t,s, heta)} $ 以分解海森矩阵并分析其谱性质。
• 采用基于弗罗贝尼乌斯范数的损失函数，并推导出小批量更新为秩-$ rt $ 矩阵的紧凑表达式。

实验结果

研究问题

• RQ1 如何以精确的矩阵形式表达前馈或循环神经网络的海森矩阵？
• RQ2 在 $ t $ 个时间步中，循环神经网络的权重梯度与海森矩阵的秩结构为何？
• RQ3 海森矩阵的特征值如何与网络的激活模式及权重矩阵相关联？
• RQ4 海森矩阵能否被分解为如克罗内克积等结构化分量的和？
• RQ5 利用矩阵不等式，海森矩阵特征值的最紧可能界为何？

主要发现

• 在 $ t $ 个时间步中，循环神经网络的权重梯度为秩-$ t $ 矩阵，而前馈神经网络的权重梯度为秩-1 矩阵。
• 在 $ t $ 个时间步中，循环神经网络的海森矩阵可表示为 $ t^2 $ 个秩-1 矩阵与 $ W^TAW $ 矩阵的克罗内克积之和。
• 对于大小为 $ r $ 的小批量，权重更新为秩-$ rt $ 矩阵，支持高效的低秩近似。
• 利用威爾定理与奇异值不等式，推导出海森矩阵特征值的界，其界依赖于激活范数与较小矩阵的特征值。
• 海森矩阵的特征值满足 $ ho_{q}(H_w^{(k,t)}) riangleq ho_q(B^{(k,t)}) + \text{校正项} $，其中校正项通过 $ ilde{C}^{(k,t,s, heta)} $ 与激活范数有界。
• 当 $ s = heta = t $ 时，海森矩阵项 $ B^{(k,t)} $ 的特征值为 $ \text{span}\big(0, ||\textbf{z}^{(k-1,t)}||_2^2 \times \text{特征值 of } \tilde{C}^{(k,t,s,s)} \big) $，零特征值的重数为 $ (n-1)m $。