[论文解读] Fast Convergence of Natural Gradient Descent for Over-Parameterized Neural Networks

Guodong Zhang, James Martens+1 more|arXiv (Cornell University)|May 27, 2019

Stochastic Gradient Optimization Techniques被引用 30

一句话总结

该论文首次对具有平方误差损失的非线性神经网络的自然梯度下降（NGD）进行了理论收敛性分析。论文在两个条件下证明了全局收敛性——雅可比矩阵满行秩和其稳定性，表明这些条件在过参数化的两层ReLU网络中成立，并将结果扩展至K-FAC这一近似NGD方法。

ABSTRACT

Natural gradient descent has proven very effective at mitigating the catastrophic effects of pathological curvature in the objective function, but little is known theoretically about its convergence properties, especially for \emph{non-linear} networks. In this work, we analyze for the first time the speed of convergence to global optimum for natural gradient descent on non-linear neural networks with the squared error loss. We identify two conditions which guarantee the global convergence: (1) the Jacobian matrix (of network's output for all training cases w.r.t the parameters) is full row rank and (2) the Jacobian matrix is stable for small perturbations around the initialization. For two-layer ReLU neural networks (i.e. with one hidden layer), we prove that these two conditions do hold throughout the training under the assumptions that the inputs do not degenerate and the network is over-parameterized. We further extend our analysis to more general loss function with similar convergence property. Lastly, we show that K-FAC, an approximate natural gradient descent method, also converges to global minima under the same assumptions.

研究动机与目标

• 理论分析自然梯度下降（NGD）在非线性神经网络中的收敛速度，尽管NGD在实践中表现优异，但其收敛速度的理论理解仍不充分。
• 识别NGD在非线性网络中以平方误差损失实现全局收敛至全局最优的充分条件。
• 将分析扩展至过参数化的两层ReLU网络，并在输入数据和网络宽度的温和假设下验证这些条件成立。
• 研究K-FAC（一种近似NGD方法）是否在相同条件下也能实现全局收敛。
• 将收敛结果推广至平方误差以外的更广泛的损失函数类别。

提出的方法

• 使用自然梯度更新规则对NGD收敛性进行理论分析，该规则基于费舍尔信息度量调整参数，以抵消损失曲面中的曲率影响。
• 识别两个关键条件：(1) 网络输出对参数的雅可比矩阵必须满行秩；(2) 雅可比矩阵在初始化附近的微小扰动下必须保持稳定。
• 证明对于两层ReLU网络，当输入不退化且网络过参数化时，这些条件在整个训练过程中均成立。
• 利用矩阵扰动理论和ReLU激活函数的性质，建立初始化和权重更新下雅可比矩阵的稳定性。
• 通过在类似假设下分析Hessian矩阵和费舍尔信息结构，将收敛结果推广至一般损失函数。
• 将分析适配至K-FAC，表明其曲率近似在相同条件下仍能保持收敛性保证。

实验结果

研究问题

• RQ1 对于具有平方误差损失的非线性神经网络，自然梯度下降在何种条件下能全局收敛至全局最小值？
• RQ2 在过参数化的两层ReLU网络中，雅可比矩阵满行秩和稳定性条件在整个训练过程中是否保持成立？
• RQ3 NGD的收敛性保证能否推广至平方误差以外的更一般损失函数？
• RQ4 作为NGD的近似方法，K-FAC是否在相同理论条件下也能收敛至全局最小值？
• RQ5 过参数化在训练过程中如何影响雅可比矩阵的稳定性和秩？

主要发现

• 当雅可比矩阵满行秩且在小扰动下稳定时，自然梯度下降可对非线性神经网络实现全局收敛至全局最小值。
• 对于两层ReLU网络，在输入数据的温和假设和过参数化条件下，满行秩和稳定性条件在整个训练过程中均成立。
• 收敛速度较快，论文在指定条件下建立了全局收敛性，尽管提供的文本中未对收敛速率进行数值量化。
• 理论框架可推广至一般损失函数，表明NGD的收敛特性在平方误差损失之外也具有鲁棒性。
• K-FAC（一种近似自然梯度方法）在相同条件下同样收敛至全局最小值，从理论上验证了其在实践中的有效性。
• 本研究为NGD和K-FAC在过参数化非线性网络中经验上的成功提供了首个理论依据。