[论文解读] Adaptive Estimators Show Information Compression in Deep Neural Networks

Ivan Chelombiev, Conor Houghton+1 more|arXiv (Cornell University)|Feb 24, 2019

Neural Networks and Applications被引用 8

一句话总结

该论文提出自适应互信息估计技术，揭示了使用非饱和激活函数（此前认为缺乏压缩性）的深度神经网络中的信息压缩现象。关键发现是：仅最终softmax层的压缩与泛化性能相关，而L2正则化显著增强了各层的压缩性。

ABSTRACT

To improve how neural networks function it is crucial to understand their learning process. The information bottleneck theory of deep learning proposes that neural networks achieve good generalization by compressing their representations to disregard information that is not relevant to the task. However, empirical evidence for this theory is conflicting, as compression was only observed when networks used saturating activation functions. In contrast, networks with non-saturating activation functions achieved comparable levels of task performance but did not show compression. In this paper we developed more robust mutual information estimation techniques, that adapt to hidden activity of neural networks and produce more sensitive measurements of activations from all functions, especially unbounded functions. Using these adaptive estimation techniques, we explored compression in networks with a range of different activation functions. With two improved methods of estimation, firstly, we show that saturation of the activation function is not required for compression, and the amount of compression varies between different activation functions. We also find that there is a large amount of variation in compression between different network initializations. Secondary, we see that L2 regularization leads to significantly increased compression, while preventing overfitting. Finally, we show that only compression of the last layer is positively correlated with generalization.

研究动机与目标

• 为解决关于深度神经网络中信息压缩的矛盾实证证据，特别是针对使用非饱和激活函数（如ReLU）的网络中压缩性缺失的问题。
• 开发更稳健且自适应的互信息估计方法，以敏感响应不同隐藏激活分布，尤其适用于无界激活函数。
• 探究压缩现象在不同激活函数、网络初始化和正则化方案下的存在性。
• 确定压缩与泛化性能之间的关系，特别是针对网络各层的个体分析。

提出的方法

• 提出自适应核密度估计（KDE）和基于分箱的互信息估计器，可随隐藏层激活分布自适应调整，提升对非饱和函数的敏感性。
• 使用加性噪声和分箱方法近似微分熵与互信息，避免在确定性DNN中出现无穷大值。
• 引入压缩度量指标：$\text{Score} = \frac{1}{N}\sum_{k=1}^{N}(1 - l_{k,M}/\max_{i\in\mathit{E}}(\mathbf{L}_{k,i}))$，其中$\mathbf{L}$包含各层和各训练周期的$I(T,X)$值。
• 在多种随机初始化下，训练全连接网络，使用不同激活函数（ReLU、softplus、ELU等），并分别在有无L2正则化条件下进行。
• 利用估计的$I(T,X)$和$I(T,Y)$可视化信息平面上的训练动态，追踪各周期的变化。
• 将50次网络初始化的逐层压缩度量与测试准确率进行相关性分析，以评估与泛化性能的关联。

实验结果

研究问题

• RQ1 在使用非饱和激活函数（如ReLU）的深度神经网络中，信息压缩是否确实存在，与先前研究结论相反？
• RQ2 网络初始化如何影响各层压缩程度与压缩存在的有无？
• RQ3 L2正则化在多大程度上诱导或增强隐藏层中的信息压缩？
• RQ4 隐藏层中各层的压缩是否与泛化性能存在相关性？
• RQ5 哪一层（或哪些层）表现出压缩与测试准确率之间的显著关系？

主要发现

• 自适应互信息估计表明，使用非饱和激活函数（如ReLU）的网络中确实存在信息压缩，这与先前认为必须依赖饱和性才能实现压缩的观点相矛盾。
• 不同激活函数之间的压缩表现存在显著差异，尽管softplus与中心化softplus函数形式相似，但其压缩度量结果却明显不同。
• 压缩对网络初始化高度敏感，部分初始化从训练初期即表现出强烈压缩，而另一些则几乎无压缩。
• L2正则化显著提升了各层的压缩程度，互信息在信息平面上聚集于单一位置，表明存在强烈压缩。
• 仅最终softmax层的压缩与泛化准确率呈统计显著的正相关；隐藏层的压缩与测试性能无显著相关性。
• 信息瓶颈并非在整个网络中统一实现；泛化并非由隐藏层的压缩驱动，而是特异地与最后一层的压缩相关。