[论文解读] Pathological spectra of the Fisher information metric and its variants in deep neural networks

Ryo Karakida, Shotaro Akaho+1 more|arXiv (Cornell University)|Oct 14, 2019

Statistical Mechanics and Entropy参考文献 45被引用 10

一句话总结

本文揭示了在宽度较大、随机初始化的深度神经网络中，费雪信息度量（FIM）及其变体表现出病态的特征值谱：少数特征值成为极端离群点，而其余大部分特征值保持较小，表明参数空间中曲率高度各向异性。作者利用场论和随机矩阵理论推导出这些谱的解析表达式，表明该现象在回归、使用Softmax的分类、神经正切核以及特征空间度量的FIM中均持续存在。

ABSTRACT

The Fisher information matrix (FIM) plays an essential role in statistics and machine learning as a Riemannian metric tensor or a component of the Hessian matrix of loss functions. Focusing on the FIM and its variants in deep neural networks (DNNs), we reveal their characteristic scale dependence on the network width, depth and sample size when the network has random weights and is sufficiently wide. This study covers two widely-used FIMs for regression with linear output and for classification with softmax output. Both FIMs asymptotically show pathological eigenvalue spectra in the sense that a small number of eigenvalues become large outliers depending the width or sample size while the others are much smaller. It implies that the local shape of the parameter space or loss landscape is very sharp in a few specific directions while almost flat in the other directions. In particular, the softmax output disperses the outliers and makes a tail of the eigenvalue density spread from the bulk. We also show that pathological spectra appear in other variants of FIMs: one is the neural tangent kernel; another is a metric for the input signal and feature space that arises from feedforward signal propagation. Thus, we provide a unified perspective on the FIM and its variants that will lead to more quantitative understanding of learning in large-scale DNNs.

研究动机与目标

• 理论分析在随机权重初始化下的深度神经网络中费雪信息度量（FIM）及其变体的谱特性。
• 理解网络宽度、深度和训练样本规模如何影响回归与分类设置下FIM的特征值分布。
• 将先前针对均方误差损失的FIM研究扩展至包含交叉熵损失与Softmax输出的分类标准设置。
• 统一理解多种FIM变体（包括神经正切核与特征空间度量）中病态谱的共性。
• 基于场论与随机矩阵理论，建立一个理论框架，以解析预测宽深度神经网络中的特征值统计特性。

提出的方法

• 作者利用场论推导出描述宽、随机初始化深度神经网络中梯度与激活统计特性的序参量。
• 应用随机矩阵理论，分析当网络宽度趋于无穷时FIM及其变体的渐近特征值分布。
• 将FIM分解为对应于不同层的块矩阵，并采用对偶矩阵表示法推导特征值统计特性。
• 对于Softmax输出情形，将FIM表示为梯度外积之和，并通过微扰分析推导其主导特征值行为。
• 利用相同框架分析神经正切核（NTK）与特征空间度量，表明其表现出相同的病态谱行为。
• 推导出FIM的均值、二阶矩及最大特征值的解析表达式，其形式依赖于激活统计特性与权重方差参数。

实验结果

研究问题

• RQ1 在宽度较大、随机初始化的深度神经网络中，回归任务的FIM特征值谱如何表现？
• RQ2 在使用Softmax输出与交叉熵损失的分类网络中，病态谱行为（即少数大特征值与大量小特征值）是否依然存在？
• RQ3 网络深度、宽度与训练样本规模在多大程度上影响FIM及其变体中极端特征值的出现？
• RQ4 相同的病态谱模式是否也出现在其他相关度量（如神经正切核与特征空间度量）中？
• RQ5 能否通过场论与随机矩阵理论构建统一的理论框架，解释不同FIM变体中的谱病理现象？

主要发现

• 使用Softmax输出的分类任务中，FIM表现出病态特征值谱：一个主导特征值随网络宽度增长，其余特征值保持较小，表明参数空间曲率存在极端各向异性。
• 最大特征值的尺度为 $ \lambda_{\text{max}} \sim \tilde{\alpha} \left( \frac{N-1}{N} \tilde{\kappa}_2 + \frac{1}{N} \tilde{\kappa}_1 \right) $，其中 $ \tilde{\alpha} $ 取决于网络宽度与激活统计特性。
• 回归任务（MSE损失）的FIM特征值谱同样表现出病态行为，随着网络宽度增加，渐近地出现单一离群特征值。
• 神经正切核（NTK）与基于信号传播推导的特征空间度量表现出完全相同的病态谱模式，表明这是一种普遍现象。
• 最大特征值对应的特征向量与期望梯度 $ \mathbb{E}[\nabla_h f_k] $ 对齐，表明陡峭方向对应于全局参数偏移。
• 大部分特征值集中在零附近，而离群特征值主导了整个谱，意味着优化被限制在狭窄且弯曲的子空间中。