[论文解读] Information Plane Analysis of Deep Neural Networks via Matrix-Based Renyi's Entropy and Tensor Kernels

Kristoffer Wickstrøm, Sigurd Løkse+4 more|arXiv (Cornell University)|Sep 25, 2019

Gaussian Processes and Bayesian Inference参考文献 30被引用 23

一句话总结

该论文提出了一种基于矩阵Rényi熵和张量核的新型信息平面（IP）分析框架，用于深度神经网络（DNN），通过估计层与输入/输出之间的互信息（MI），实现了对大规模卷积神经网络（CNN）如VGG-16的首次全面IP分析。结果表明，训练过程中的压缩阶段主要在训练数据上观察到，可能与过拟合有关，且早停策略在压缩阶段完全显现前即中止训练。

ABSTRACT

Analyzing deep neural networks (DNNs) via information plane (IP) theory has gained tremendous attention recently as a tool to gain insight into, among others, their generalization ability. However, it is by no means obvious how to estimate mutual information (MI) between each hidden layer and the input/desired output, to construct the IP. For instance, hidden layers with many neurons require MI estimators with robustness towards the high dimensionality associated with such layers. MI estimators should also be able to naturally handle convolutional layers, while at the same time being computationally tractable to scale to large networks. None of the existing IP methods to date have been able to study truly deep Convolutional Neural Networks (CNNs), such as the e.g.\ VGG-16. In this paper, we propose an IP analysis using the new matrix--based Rényi's entropy coupled with tensor kernels over convolutional layers, leveraging the power of kernel methods to represent properties of the probability distribution independently of the dimensionality of the data. The obtained results shed new light on the previous literature concerning small-scale DNNs, however using a completely new approach. Importantly, the new framework enables us to provide the first comprehensive IP analysis of contemporary large-scale DNNs and CNNs, investigating the different training phases and providing new insights into the training dynamics of large-scale neural networks.

研究动机与目标

• 为高维、深度神经网络，特别是大规模卷积神经网络（CNN）如VGG-16，实现准确的互信息（MI）估计。
• 克服现有MI估计器在处理高维、卷积层时的局限性，同时保持计算可行性。
• 探究DNN训练中的压缩阶段是否为普遍现象，还是估计偏差的产物。
• 检验在高维设置下“H(X) ≈ I(T;X) 且 H(Y) ≈ I(T;Y)”这一说法的有效性。
• 考察压缩阶段与过拟合之间的关系，特别是通过早停策略的影响。

提出的方法

• 该方法采用基于张量核的Rényi α阶熵估计器，以独立于数据维度的方式表示概率分布。
• 通过引入张量核，将矩阵形式的Rényi熵扩展，以自然地处理卷积层的结构。
• 该方法避免了多变量矩阵形式熵估计中常见的数值不稳定性，从而在高维设置下实现稳健估计。
• 通过 I(X;T) = H(X) - H(X|T) 和 I(Y;T) = H(Y) - H(Y|T) 估计隐藏层与输入/输出之间的互信息（MI），并使用基于张量的熵估计器。
• 该框架应用于全连接网络（MLPs）和CNN（如VGG-16），并在训练和测试数据上进行评估，以研究泛化性能和动态行为。
• 采用数据处理不等式（DPI）作为验证标准：I(X;T₁) ≥ I(X;T₂) ≥ ... ≥ I(X;T_L) 应成立，且通过实证验证其符合性。

实验结果

研究问题

• RQ1 所提出的基于张量的MI估计器是否能实现对大规模、深度CNN（如VGG-16）的可靠信息平面分析？
• RQ2 DNN训练中的压缩阶段是普遍现象，还是MI估计偏差的产物？
• RQ3 在高维设置下，“H(X) ≈ I(T;X) 且 H(Y) ≈ I(T;Y)”这一说法在所提出的估计器下是否成立？
• RQ4 早停如何影响信息平面中压缩阶段的出现？
• RQ5 所提出的方法在深度网络中与数据处理不等式（DPI）的符合程度如何？

主要发现

• 所提出的方法实现了对大规模CNN（包括在CIFAR-10上训练的VGG-16）的首次全面信息平面分析。
• 压缩阶段在训练数据中清晰可见，尤其在深层网络中更为显著，但在测试数据中则不那么明显。
• 早停作为常见的正则化技术，通常在压缩阶段完全显现前即中止训练，提示压缩与过拟合之间存在关联。
• 在所提出的估计器下，“H(X) ≈ I(T;X) 且 H(Y) ≈ I(T;Y)”在高维设置下的说法不成立，表明基于MI的分析仍具意义。
• 该估计器在MLP的所有层以及VGG-16的除一层外的所有层中均符合数据处理不等式（DPI），验证了其理论一致性。
• 对于输出层，I(Y;T)在MLP和CNN中均稳定在 log₂(10) ≈ 3.32，对应于训练数据上约100%的准确率，证实了估计器的可靠性。