[论文解读] Information Flow in Deep Neural Networks

Ravid Shwartz-Ziv|arXiv (Cornell University)|Feb 10, 2022

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出了一种基于信息瓶颈（Information Bottleneck, IB）的信息论框架，用以解释深度神经网络的动力学特性与结构。研究证明，随机梯度下降（SGD）在各层之间优化预测与压缩之间的权衡，且网络会收敛至IB边界；此外，本文进一步提出了对偶信息瓶颈（dualIB）框架，以提升深度学习中的泛化性能与理论可解释性。

ABSTRACT

Although deep neural networks have been immensely successful, there is no comprehensive theoretical understanding of how they work or are structured. As a result, deep networks are often seen as black boxes with unclear interpretations and reliability. Understanding the performance of deep neural networks is one of the greatest scientific challenges. This work aims to apply principles and techniques from information theory to deep learning models to increase our theoretical understanding and design better algorithms. We first describe our information-theoretic approach to deep learning. Then, we propose using the Information Bottleneck (IB) theory to explain deep learning systems. The novel paradigm for analyzing networks sheds light on their layered structure, generalization abilities, and learning dynamics. We later discuss one of the most challenging problems of applying the IB to deep neural networks - estimating mutual information. Recent theoretical developments, such as the neural tangent kernel (NTK) framework, are used to investigate generalization signals. In our study, we obtained tractable computations of many information-theoretic quantities and their bounds for infinite ensembles of infinitely wide neural networks. With these derivations, we can determine how compression, generalization, and sample size pertain to the network and how they are related. At the end, we present the dual Information Bottleneck (dualIB). This new information-theoretic framework resolves some of the IB's shortcomings by merely switching terms in the distortion function. The dualIB can account for known data features and use them to make better predictions over unseen examples. An analytical framework reveals the underlying structure and optimal representations, and a variational framework using deep neural network optimization validates the results.

研究动机与目标

• 通过应用信息论，特别是信息瓶颈（IB）原理，发展对深度神经网络的理论理解。
• 通过互信息优化，解释深度网络的分层结构、泛化能力与学习动力学。
• 解决在高维空间中估计互信息的挑战，以适用于深度学习模型。
• 通过引入新的参数化对偶IB（dualIB）框架，克服非参数IB框架的局限性，实现更优的预测性能。
• 通过变分对偶IB框架与真实数据集上的实证验证，实现信息论原理在深度学习中的实际应用。

提出的方法

• 将信息瓶颈（IB）理论应用于建模深度网络，使其在输入、隐层表示与输出之间优化互信息。
• 识别出两阶段训练动力学：快速误差最小化阶段，随后是缓慢的表示压缩阶段，该过程与各层信噪比的变化相关。
• 推导出表示压缩的高斯界，并将其与压缩时间关联，表明网络收敛至理论IB边界。
• 利用神经正切核（Neural Tangent Kernel, NTK）框架，在无限宽度、无限集成的网络中计算可处理的信息论量。
• 通过在失真函数中交换项，提出对偶信息瓶颈（dualIB），实现参数化建模，并提升对未见数据的泛化能力。
• 开发基于深度神经网络的变分对偶IB框架，以实现实际训练与在真实世界数据集上的实证评估。

实验结果

研究问题

• RQ1 深度神经网络在训练过程中如何跨层优化信息流动？
• RQ2 随机梯度下降（SGD）在多大程度上遵循IB中压缩与预测之间的权衡？
• RQ3 能否使用NTK等理论框架有效估计高维深度网络中的互信息？
• RQ4 与标准IB相比，对偶IB框架在泛化与预测精度方面有何改进？
• RQ5 隐层在加速信息压缩与提升收敛速度方面发挥何种作用？

主要发现

• SGD训练过程分为两个明显阶段：快速误差最小化阶段，随后是缓慢的压缩阶段，各层表现出不同的信噪比。
• 深度网络收敛至理论IB边界，表明每一层均在预测与压缩之间优化权衡，且编码器-解码器分布自洽。
• 对偶IB框架提供了解析解，并优化了平均预测误差指数，提升了样本数量增加时的预测精度。
• 变分对偶IB框架实现了实际应用与实证验证，其结果与现代深度网络的理论预测一致。
• 增加隐层可显著加速收敛与压缩：6层网络在400个周期内即实现良好泛化，而1层网络即使训练10,000个周期也未能实现。
• 深层网络在高层实现更快压缩，随后通过数据处理不等式引导并加速底层的压缩过程。