[论文解读] Fisher Information and Natural Gradient Learning of Random Deep Networks

Шун-ичи Амари, Ryo Karakida+1 more|arXiv (Cornell University)|Aug 22, 2018

Stochastic Gradient Optimization Techniques参考文献 5被引用 20

一句话总结

该论文通过在平均场近似下推导Fisher信息矩阵的精确逆，提出了一种显式解析方法来计算随机深度神经网络中的自然梯度。证明了Fisher矩阵近似为逐单元分块对角形式，从而无需数值矩阵求逆即可实现高效的自然梯度学习，尤其适用于具有ReLU激活函数的残差网络。

ABSTRACT

A deep neural network is a hierarchical nonlinear model transforming input signals to output signals. Its input-output relation is considered to be stochastic, being described for a given input by a parameterized conditional probability distribution of outputs. The space of parameters consisting of weights and biases is a Riemannian manifold, where the metric is defined by the Fisher information matrix. The natural gradient method uses the steepest descent direction in a Riemannian manifold, so it is effective in learning, avoiding plateaus. It requires inversion of the Fisher information matrix, however, which is practically impossible when the matrix has a huge number of dimensions. Many methods for approximating the natural gradient have therefore been introduced. The present paper uses statistical neurodynamical method to reveal the properties of the Fisher information matrix in a net of random connections under the mean field approximation. We prove that the Fisher information matrix is unit-wise block diagonal supplemented by small order terms of off-block-diagonal elements, which provides a justification for the quasi-diagonal natural gradient method by Y. Ollivier. A unitwise block-diagonal Fisher metrix reduces to the tensor product of the Fisher information matrices of single units. We further prove that the Fisher information matrix of a single unit has a simple reduced form, a sum of a diagonal matrix and a rank 2 matrix of weight-bias correlations. We obtain the inverse of Fisher information explicitly. We then have an explicit form of the natural gradient, without relying on the numerical matrix inversion, which drastically speeds up stochastic gradient learning.

研究动机与目标

• 解决在深度网络中求逆完整Fisher信息矩阵的计算不可行性问题。
• 为先前自然梯度方法中使用的准对角近似提供理论依据。
• 在高斯输入假设下，推导出逐单元Fisher信息矩阵的显式闭式逆。
• 通过利用分块对角结构，实现无需数值矩阵求逆的高效自然梯度学习。
• 通过平均场分析，将该方法扩展至具有ReLU激活函数的残差网络。

提出的方法

• 使用统计神经动力学方法和平均场近似，分析具有i.i.d.高斯权重和偏置的深度随机网络中的Fisher信息矩阵。
• 证明Fisher矩阵近似为逐单元分块对角形式，非对角块项的阶为$1/\sqrt{n}$，其中$n$为每层神经元数量。
• 推导单个神经元的Fisher信息矩阵的精确形式，其为对角矩阵与一个秩-2矩阵之和，用于捕捉权重-偏置相关性。
• 显式计算逐单元Fisher矩阵的逆，避免数值求逆，从而实现快速自然梯度更新。
• 将推导出的逆应用于设计适用于ReLU激活函数残差网络的计算高效自然梯度学习算法。
• 在假设每层输入由于残差连接中的随机线性变换而近似为i.i.d.标准高斯分布的条件下验证该方法。

实验结果

研究问题

• RQ1 能否以一种可实现高效自然梯度学习的方式近似随机深度网络中的Fisher信息矩阵？
• RQ2 在高斯输入假设下，单个神经元的Fisher信息矩阵的结构形式为何？
• RQ3 在大型随机网络中，Fisher矩阵的逐单元分块对角近似是否成立，原因是什么？
• RQ4 能否在不进行数值求逆的情况下显式计算逐单元Fisher矩阵的逆？
• RQ5 平均场近似如何解释残差网络中准对角自然梯度方法的有效性？

主要发现

• 在大型随机深度网络中，Fisher信息矩阵近似为逐单元分块对角形式，非对角块项的阶为$1/\sqrt{n}$，从而为准对角近似提供了理论支持。
• 在高斯输入假设下，单个神经元的Fisher信息矩阵可简化为对角矩阵与一个秩-2矩阵之和，后者代表权重-偏置相关性。
• 逐单元Fisher矩阵的逆以闭式显式计算得出，从而可直接计算自然梯度而无需矩阵求逆。
• 该方法在具有ReLU激活函数的残差网络中尤为有效，因为每层输入由于随机线性变换而近似为i.i.d.标准高斯分布。
• 所推导的自然梯度更新规则计算效率高，避免了完整Fisher矩阵求逆的高昂计算成本。
• 该理论框架为自适应自然梯度方法（如TANGO）中速度向量的初始化提供了理论基础。