[论文解读] How Does Information Bottleneck Help Deep Learning?

Kenji Kawaguchi, Zhun Deng+2 more|arXiv (Cornell University)|May 30, 2023

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

论文提供了首次将信息瓶颈正则化与深度学习泛化联系起来的严格一般化界，涵盖编码器在用训练数据学习的情景，并在跨架构的实验中验证理论。

ABSTRACT

Numerous deep learning algorithms have been inspired by and understood via the notion of information bottleneck, where unnecessary information is (often implicitly) minimized while task-relevant information is maximized. However, a rigorous argument for justifying why it is desirable to control information bottlenecks has been elusive. In this paper, we provide the first rigorous learning theory for justifying the benefit of information bottleneck in deep learning by mathematically relating information bottleneck to generalization errors. Our theory proves that controlling information bottleneck is one way to control generalization errors in deep learning, although it is not the only or necessary way. We investigate the merit of our new mathematical findings with experiments across a range of architectures and learning settings. In many cases, generalization errors are shown to correlate with the degree of information bottleneck: i.e., the amount of the unnecessary information at hidden layers. This paper provides a theoretical foundation for current and future methods through the lens of information bottleneck. Our new generalization bounds scale with the degree of information bottleneck, unlike the previous bounds that scale with the number of parameters, VC dimension, Rademacher complexity, stability or robustness. Our code is publicly available at: https://github.com/xu-ji/information-bottleneck

研究动机与目标

• 提供一个严格的学习理论，将信息瓶颈与深度学习中的泛化联系起来。
• 证明在端到端学习中对中间表示的控制信息瓶颈可以界定泛化误差。
• 通过推导依赖条件互信息 I(X;Z|Y) 和编码器数据依赖 I(φ(S);S) 的界来改进以往猜想。
• 通过实验演示泛化与跨架构和设置下的信息瓶颈量度的相关性。

提出的方法

• 将神经网络建模为组合 f^s = g_l^s o φ_l^s，其中 φ_l^s 是编码器，g_l^s 是网络的剩余部分。
• 推导涉及 I(X;Z_l^s|Y) 的泛化界，并在学习编码器的情形下，将 I(φ_l^S;S) 作为信息保持与过拟合的度量。
• 给出两条主要结果：固定编码器且与 s 无关的定理1，以及编码器与 s 一起学习的定理2，将泛化与信息量相关联。
• 用 I(X;Z|Y) 替代 2^{I(X;Z)} 能得到更紧的、线性依赖信息的界。
• 解决无限域问题，并提出对基于分箱估计的互信息的推论的推论。
• 通过 CIFAR10 及其他数据集的实验来支持理论发现，比较表示与模型压缩度量作为泛化的预测变量。

实验结果

研究问题

• RQ1 信息瓶颈正则化如何与深度神经网络的泛化误差相关？
• RQ2 在编码器由训练数据学习时，是否可以建立严格的一般化界？
• RQ3 条件互信息 I(X;Z|Y) 是否比 I(X;Z) 或其他复杂度度量更能预测泛化？
• RQ4 信息瓶颈量度与编码器-数据依赖的经验估计是否在不同架构下预测泛化？

主要发现

• 一个新颖的一般化界给出，在表示及表示函数的简洁性对泛化有支持作用。
• 将对互信息的指数依赖替换为线性依赖（I(X;Z|Y)）可得到更紧的界。
• 当编码器与数据共同学习时，界涉及 I(X;Z|Y) 加上 I(φ(S);S)，同时捕捉表示压缩与编码器过拟合。
• 在 CIFAR10 和 MNIST 上的实验证明，基于表示和模型压缩的联合界在预测泛化方面优于仅基于表示压缩的界。
• 在层间对联合项 I(S;θ_l^S) + I(X;Z_l^s|Y) 求最小值，能对泛化差提供强预测力。
• 该方法解决了互信息的分箱任意性，在常见估计器和迁移学习设定下仍然成立。