[论文解读] Flow of Information in Feed-Forward Deep Neural Networks

Pejman Khadivi, Ravi Tandon+1 more|arXiv (Cornell University)|Mar 20, 2016

Adversarial Robustness in Machine Learning参考文献 8被引用 10

一句话总结

本文运用信息论与信息瓶颈原理，对前馈深度神经网络中的信息流进行建模，提出一种受约束的优化框架，以平衡压缩与预测准确率。研究证明，可实现的最大数据压缩受限于条件熵 H(X|Y)，并在布尔函数上的实验验证中表明，当存在可行映射时可实现最优压缩。

ABSTRACT

Feed-forward deep neural networks have been used extensively in various machine learning applications. Developing a precise understanding of the underling behavior of neural networks is crucial for their efficient deployment. In this paper, we use an information theoretic approach to study the flow of information in a neural network and to determine how entropy of information changes between consecutive layers. Moreover, using the Information Bottleneck principle, we develop a constrained optimization problem that can be used in the training process of a deep neural network. Furthermore, we determine a lower bound for the level of data representation that can be achieved in a deep neural network with an acceptable level of distortion.

研究动机与目标

• 理解信息熵在深度神经网络各层之间的演化过程。
• 基于信息瓶颈原理，构建一种用于训练DNN的受约束优化模型。
• 在保持可接受失真度的前提下，推导DNN中数据压缩的理论上限。
• 通过布尔函数的案例研究，证明最优信息表示的可行性。
• 通过引入可行性约束，对优化模型进行修改，以应对神经计算中的实际限制。

提出的方法

• 本文使用熵和条件熵对连续层之间的信息流进行建模，分析信息表示的变化。
• 基于信息瓶颈原理，构建一个受约束的优化问题，以最小化对数损失失真并最大化压缩率。
• 优化目标为最大化输入与输出表示之间在各层上的互信息。
• 引入约束条件以排除禁止映射（如单神经元不可行性），确保学习表示的实际可行性。
• 对模型进行修改，以整合实际神经计算限制，包括逐层映射可行性与分布约束。
• 通过布尔函数（AND、OR、XOR）的案例研究，验证模型在不同网络深度下可实现压缩率与映射可行性的表现。

实验结果

研究问题

• RQ1 在前馈深度神经网络中，连续层之间的熵如何变化？
• RQ2 在可接受失真度下，DNN中数据压缩的理论上限是什么？
• RQ3 信息瓶颈原理能否用于推导出适用于DNN训练的实用优化框架？
• RQ4 为何深层网络对实现某些函数（如XOR）是必要的？深度如何影响压缩效率？
• RQ5 如何在优化过程中排除不可行或禁止的映射，以确保实际神经计算的可行性？

主要发现

• 在前馈DNN中，可实现的最大数据压缩受限于条件熵 H(X|Y)，该结果已在引理3中被证明为理论上限。
• 对于可实现的布尔函数（如AND和OR），压缩率 Cν 与 H(X|Y) 相等，表明实现了最优表示。
• 具有两个或三个输入的XOR函数无法在单层网络中实现，这是由于神经元处理能力的限制，必须依赖更深的网络结构。
• 增加层数可提升压缩效率，多层网络的 Cν 值更高（例如，对于 ν=3 的AND函数，Cν=3.566；而 ν=1 时为2.456）。
• 优化模型能成功识别可行映射，案例研究显示，仅当网络架构支持所需函数时，才能实现最优压缩。