[论文解读] A Kronecker-factored approximate Fisher matrix for convolution layers

Roger Grosse, James Martens|arXiv (Cornell University)|Feb 3, 2016

Stochastic Gradient Optimization Techniques参考文献 40被引用 31

一句话总结

本文提出了卷积神经网络的Kronecker因子（KFC），这是一种针对卷积神经网络的Fisher信息矩阵的可处理近似方法，利用反向传播梯度的结构化概率模型。通过将Fisher块分解为较小矩阵的Kronecker积，KFC实现了高效且对常见参数重参数化不变的自然梯度更新，并在训练速度上比SGD快10–20倍，同时保持相当或更优的测试误差。

ABSTRACT

Second-order optimization methods such as natural gradient descent have the potential to speed up training of neural networks by correcting for the curvature of the loss function. Unfortunately, the exact natural gradient is impractical to compute for large models, and most approximations either require an expensive iterative procedure or make crude approximations to the curvature. We present Kronecker Factors for Convolution (KFC), a tractable approximation to the Fisher matrix for convolutional networks based on a structured probabilistic model for the distribution over backpropagated derivatives. Similarly to the recently proposed Kronecker-Factored Approximate Curvature (K-FAC), each block of the approximate Fisher matrix decomposes as the Kronecker product of small matrices, allowing for efficient inversion. KFC captures important curvature information while still yielding comparably efficient updates to stochastic gradient descent (SGD). We show that the updates are invariant to commonly used reparameterizations, such as centering of the activations. In our experiments, approximate natural gradient descent with KFC was able to train convolutional networks several times faster than carefully tuned SGD. Furthermore, it was able to train the networks in 10-20 times fewer iterations than SGD, suggesting its potential applicability in a distributed setting.

研究动机与目标

• 开发一种适用于卷积神经网络的可扩展二阶优化方法，能够在计算成本可控的前提下捕捉曲率信息。
• 将原本仅针对全连接层设计的K-FAC框架扩展至处理卷积层中的权重共享机制。
• 确保近似方法对常见重参数化（如激活中心化或归一化）保持不变性。
• 通过最小化每次更新的计算开销和通信成本，实现高效的分布式训练。

提出的方法

• 提出一种结构化概率模型，假设反向传播的梯度在空间上不相关，且激活值与梯度相互独立。
• 将卷积层的Fisher信息矩阵建模为基于空间和通道统计量的小型矩阵的Kronecker积。
• 在空间同质性和梯度不相关的假设下推导出Fisher块的分解形式，从而通过因子矩阵的逆实现高效求逆。
• 利用所得的Kronecker分解Fisher近似，计算自然梯度更新，其每步计算复杂度与SGD相当。
• 通过使用激活和梯度统计量的样本均值，维持训练过程中曲率近似的稳定性。
• 支持与自适应步长、动量和阻尼的集成，类似于完整版K-FAC，以提升收敛性能。

实验结果

研究问题

• RQ1 能否高效地将曲率感知优化方法适配到具有权重共享的卷积网络？
• RQ2 Kronecker分解的Fisher近似是否能保持对批量归一化或激活中心化等常见重参数化的不变性？
• RQ3 该方法在训练和测试误差方面是否能显著快于SGD实现收敛？
• RQ4 在分布式设置下，该方法的扩展性如何，特别是在迭代次数和通信开销方面？

主要发现

• 在CIFAR-10和SVHN基准测试中，KFC实现与SGD相当或更优的测试误差，但所需迭代次数仅为SGD的10–20倍。
• 在CIFAR-10上，KFC-pre在300次迭代内达到10%的训练误差，而SGD需6,000次迭代，收敛速度提升20倍。
• 即使使用大批次训练，该方法仍保持良好的泛化性能，表明其与分布式训练兼容。
• 当协方差统计量和因子逆矩阵仅周期性更新而非每步更新时，KFC-pre未表现出显著性能下降，表明同步开销极低。
• 即使在使用批量归一化时，KFC-pre仍能比SGD更快地优化训练和测试误差，表明其与归一化技术具有协同增益。
• 通过KFC计算的自然梯度更新对激活中心化等重参数化保持不变，从而保留了理想的几何特性。