[论文解读] A Coordinate-Free Construction of Scalable Natural Gradient

Kevin Luk, Roger Grosse|arXiv (Cornell University)|Aug 30, 2018

Model Reduction and Neural Networks参考文献 29被引用 8

一句话总结

本文提出了一种无坐标的 K-FAC 算法构造，将其定义为在神经网络权重空间上新定义的黎曼度量下的精确自然梯度。通过将 K-FAC 表述为微分几何中的对象——特别是拉回（pullbacks）与仿射变换——该研究证明了其更新规则在激活的仿射重参数化下保持不变，从而在不依赖坐标近似的基础上，为 K-FAC 的不变性特性提供了严谨的几何基础。

ABSTRACT

Most neural networks are trained using first-order optimization methods, which are sensitive to the parameterization of the model. Natural gradient descent is invariant to smooth reparameterizations because it is defined in a coordinate-free way, but tractable approximations are typically defined in terms of coordinate systems, and hence may lose the invariance properties. We analyze the invariance properties of the Kronecker-Factored Approximate Curvature (K-FAC) algorithm by constructing the algorithm in a coordinate-free way. We explicitly construct a Riemannian metric under which the natural gradient matches the K-FAC update; invariance to affine transformations of the activations follows immediately. We extend our framework to analyze the invariance properties of K-FAC applied to convolutional networks and recurrent neural networks, as well as metrics other than the usual Fisher metric.

研究动机与目标

• 提供 K-FAC 算法的几何化、无坐标的解释，以阐明其不变性特性。
• 在神经网络权重空间上构造一个黎曼度量，使得 K-FAC 更新规则在此度量下为精确自然梯度。
• 通过内在几何对象，将 K-FAC 的不变性分析扩展至循环网络与卷积网络。
• 证明 K-FAC 对激活的仿射变换的不变性可直接源于其无坐标的构造。
• 将 K-FAC 统一理解为在结构化、近似度量下的自然梯度方法，而非基于临时近似的启发式方法。

提出的方法

• 将神经网络建模为抽象仿射空间（激活与预激活）之间的仿射映射序列，将权重与偏置视为仿射映射空间中的元素。
• 通过网络映射拉回输出 Fisher 度量，定义权重空间上的黎曼度量，从而导出 K-FAC 度量。
• 通过时间步（在循环网络中）或层（在前馈网络中）的期望值，将 K-FAC 度量表示为激活外积与雅可比外积期望的和。
• 在标准假设下证明该度量是非退化的，从而确保自然梯度定义良好。
• 利用拉回的函子性质，证明 K-FAC 更新规则恰好对应于该 K-FAC 度量下的自然梯度。
• 使用无坐标的推理证明不变性：任何对激活或预激活的仿射基变换均保持度量结构，从而保持更新规则。

实验结果

研究问题

• RQ1 K-FAC 算法能否被解释为在明确定义的黎曼度量下、与坐标系无关的自然梯度方法？
• RQ2 支撑 K-FAC 对激活仿射变换不变性的几何结构是什么？
• RQ3 如何通过内在几何构造将 K-FAC 度量扩展至循环网络与卷积网络？
• RQ4 无坐标的构造是否能解释为何 K-FAC 对某些重参数化保持不变，而对其他则不？
• RQ5 K-FAC 的不变性特性能否直接从度量结构中推导，而非通过坐标基更新规则的代数运算？

主要发现

• K-FAC 更新规则是基于通过拉回输出 Fisher 度量构造的无坐标黎曼度量下的精确自然梯度。
• K-FAC 度量定义为 $ g_{\text{KFAC}}(\omega) = T \cdot \mathbb{E}_{\mathbb{T}}[\alpha_{t-1} \otimes \alpha_{t-1}] \otimes \mathbb{E}_{\mathbb{T}}[\varphi_{\xi,t}^*g(\zeta_t)] $，其坐标形式与标准 K-FAC 近似一致。
• K-FAC 对激活仿射变换的不变性可直接由无坐标的构造得出，因为此类变换保持度量结构。
• 当输出度量的期望拉回是非退化时，K-FAC 度量是非退化的，从而确保自然梯度定义良好。
• 该框架可自然扩展至循环网络，通过在时间步上求和，并使用时间平均的激活与雅可比统计量。
• 无坐标的证明表明，K-FAC 对仿射重参数化的不变性源于度量的构造方式，该度量由几何对象（拉回、张量积）构成，而这些对象在仿射变换下保持不变。