[论文解读] How (Not) To Train Your Neural Network Using the Information Bottleneck Principle.

Rana Ali Amjad, Bernhard C. Geiger|arXiv (Cornell University)|Feb 27, 2018

Stochastic Gradient Optimization Techniques被引用 21

一句话总结

本文表明，通过信息瓶颈（IB）原理训练深度神经网络在确定性网络中本质上存在缺陷，因为IB泛函在几乎所有权重矩阵上趋于无穷大且在双射变换下保持不变，导致优化问题病态，无法捕捉关键的分类特性。作者认为，只有引入随机网络或修改后的损失函数才能解决这些问题，这意味着报告的IB成功实际上源于这些改进，而非IB框架本身。

ABSTRACT

In this theory paper, we investigate training deep neural networks (DNNs) for classification via minimizing the information bottleneck (IB) functional. We show that, even if the joint distribution between continuous feature variables and the discrete class variable is known, the resulting optimization problem suffers from two severe issues: First, for deterministic DNNs, the IB functional is infinite for almost all weight matrices, making the optimization problem ill-posed. Second, the invariance of the IB functional under bijections prevents it from capturing desirable properties for classification, such as robustness, architectural simplicity, and simplicity of the learned representation. We argue that these issues are partly resolved for stochastic DNNs, DNNs that include a (hard or soft) decision rule, or by replacing the IB functional with related, but more well-behaved cost functions. We conclude that recent successes reported about training DNNs using the IB framework must be attributed to such solutions. As a side effect, our results imply limitations of the IB framework for the analysis of DNNs.

研究动机与目标

• 研究通过最小化信息瓶颈（IB）泛函来训练深度神经网络的可行性。
• 识别将IB原理应用于确定性深度神经网络时存在的根本性理论问题。
• 分析IB泛函为何无法捕捉分类任务中诸如鲁棒性和表征简洁性等理想特性。
• 探讨随机性或替代损失函数是否能解决IB框架的局限性。
• 在理论缺陷明显的情况下，澄清IB框架在分析深度神经网络训练中的作用。

提出的方法

• 在连续特征与离散类别之间的已知联合分布下分析IB泛函。
• 证明在确定性DNN中，几乎所有的权重矩阵下IB泛函均为无穷大，导致优化问题病态。
• 证明IB泛函在对网络权重进行双射变换下保持不变，从而削弱其施加有意义归纳偏置的能力。
• 评估DNN中随机性（如硬或软决策规则）对IB优化问题良态性的影响。
• 提出比标准IB泛函更良态的替代损失函数，以用于训练DNN。
• 通过理论分析比较IB泛函与其修改变体在优化稳定性与归纳偏置方面的表现。

实验结果

研究问题

• RQ1 为何信息瓶颈泛函在确定性深度神经网络中趋于无穷大？
• RQ2 IB泛函在双射变换下的不变性如何影响其学习鲁棒且简洁表征的能力？
• RQ3 IB框架在深度学习中实现良态优化需满足哪些条件？
• RQ4 神经网络中的随机性能否解决IB方法的理论缺陷？
• RQ5 近期基于IB的训练方法的成功在多大程度上依赖于超出标准IB泛函的修改？

主要发现

• 在确定性深度神经网络中，几乎所有的权重矩阵下，信息瓶颈泛函均为无穷大，导致优化问题病态。
• IB泛函在对网络权重进行双射变换下保持不变，无法捕捉网络架构的简洁性或鲁棒性。
• 具有硬或软决策规则的随机深度神经网络可解决IB泛函的病态性与不变性问题。
• 报告的基于IB的训练方法的成功很可能是由于引入了随机性或替代损失函数，而非IB原理本身。
• 标准IB框架在分析或训练深度神经网络方面存在根本局限，尤其在确定性设置下。
• 需要比IB泛函更良态的替代损失函数，以实现稳定且有意义的训练。