[论文解读] Information Bottleneck Theory on Convolutional Neural Networks

Junjie Li, Ding Liu|arXiv (Cornell University)|Nov 9, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用 6

一句话总结

本文通过在MNIST和Fashion-MNIST数据集上对卷积神经网络（CNNs）进行互信息（MI）分析，研究了信息瓶颈（IB）理论在CNN中的适用性。研究发现，CNN中并不存在如前馈网络中所观察到的一致压缩阶段，表明压缩并非训练的普遍阶段，且网络深度、卷积核大小和宽度显著影响信息捕获与泛化性能。

ABSTRACT

Recent years, many researches attempt to open the black box of deep neural networks and propose a various of theories to understand it. Among them, Information Bottleneck (IB) theory claims that there are two distinct phases consisting of fitting phase and compression phase in the course of training. This statement attracts many attentions since its success in explaining the inner behavior of feedforward neural networks. In this paper, we employ IB theory to understand the dynamic behavior of convolutional neural networks (CNNs) and investigate how the fundamental features such as convolutional layer width, kernel size, network depth, pooling layers and multi-fully connected layer have impact on the performance of CNNs. In particular, through a series of experimental analysis on benchmark of MNIST and Fashion-MNIST, we demonstrate that the compression phase is not observed in all these cases. This shows us the CNNs have a rather complicated behavior than feedforward neural networks.

研究动机与目标

• 调查信息瓶颈（IB）理论的两阶段训练动态（拟合与压缩）是否适用于卷积神经网络（CNNs）。
• 分析卷积层宽度、卷积核大小、深度、池化层以及多层全连接层等基本网络组件如何影响信息流动与泛化性能。
• 确定双饱和非线性激活函数（如tanh）是否在CNN中引发可检测的压缩阶段，如先前关于前馈网络的研究所声称的那样。
• 通过在基准数据集上的实证分析，评估互信息（MI）动态与模型泛化性能之间的关系。

提出的方法

• 通过在输入、隐藏层与输出之间估计互信息（MI），构建训练各阶段的信息平面（IP）轨迹。
• 采用基于矩阵的Rényi熵估计器计算MI，以降低偏差并提高高维表征下的稳定性。
• 在MNIST和Fashion-MNIST上训练标准CNN架构，并控制深度、卷积核大小、宽度、池化层和全连接层的变量。
• 分析各层和训练阶段的MI动态（I(X;T)和I(Y;T)），以检测拟合与压缩行为。
• 比较带与不带池化层的网络，以及使用不同非线性激活函数（如tanh）的网络，评估其对MI演化的影响。
• 通过跟踪MI收敛情况与测试准确率，评估泛化性能。

实验结果

研究问题

• RQ1 在标准CNN中，IB理论所定义的压缩阶段是否在训练过程中出现？
• RQ2 架构超参数（如卷积核大小、深度、宽度及池化层）如何影响CNN中的互信息动态？
• RQ3 在CNN中使用双饱和非线性激活函数（如tanh）是否会导致可检测的压缩阶段？
• RQ4 池化层和多层全连接层在多大程度上影响CNN的信息捕获与泛化性能？
• RQ5 CNN中互信息动态与模型泛化性能之间是否存在一致关系？

主要发现

• 在标准CNN的卷积层或全连接层中均未观察到一致的压缩阶段，即使使用tanh等双饱和非线性激活函数亦是如此。
• 卷积层几乎捕获了从输入到标签的所有相关信息，其互信息（I(X;T)）接近理论上的上限。
• 更宽的卷积层可提升泛化性能，并使模型在更少的训练周期内达到最优性能，相较于较窄架构。
• 较大的卷积核大小和更深的网络在初期能更高效地捕获信息，但过大的核或过深的网络需要显著更多的训练周期才能达到相同的MI水平。
• 池化层略微提高了最终层的互信息（I(Y;T)），表明其对泛化有轻微积极影响，但并非主导因素。
• CNN中缺乏普遍压缩阶段，挑战了压缩是深度学习泛化背后基本机制的观点。