[论文解读] Information Bottleneck and its Applications in Deep Learning

Hassan Hafez-Kolahi, Shohreh Kasaei|arXiv (Cornell University)|Apr 7, 2019

Adversarial Robustness in Machine Learning参考文献 56被引用 11

一句话总结

本综述探讨了深度学习中的信息瓶颈（IB）框架，展示了其在通过平衡压缩与预测来分析和改进神经网络方面的作用。它将IB与随机梯度下降、变分自编码器以及最小 sufficient 统计量联系起来，同时警告在将信息论应用于确定性深度网络时常见的陷阱。

ABSTRACT

Information Theory (IT) has been used in Machine Learning (ML) from early days of this field. In the last decade, advances in Deep Neural Networks (DNNs) have led to surprising improvements in many applications of ML. The result has been a paradigm shift in the community toward revisiting previous ideas and applications in this new framework. Ideas from IT are no exception. One of the ideas which is being revisited by many researchers in this new era, is Information Bottleneck (IB); a formulation of information extraction based on IT. The IB is promising in both analyzing and improving DNNs. The goal of this survey is to review the IB concept and demonstrate its applications in deep learning. The information theoretic nature of IB, makes it also a good candidate in showing the more general concept of how IT can be used in ML. Two important concepts are highlighted in this narrative on the subject, i) the concise and universal view that IT provides on seemingly unrelated methods of ML, demonstrated by explaining how IB relates to minimal sufficient statistics, stochastic gradient descent, and variational auto-encoders, and ii) the common technical mistakes and problems caused by applying ideas from IT, which is discussed by a careful study of some recent methods suffering from them.

研究动机与目标

• 提供信息瓶颈（IB）框架及其在现代深度学习中相关性的全面概述。
• 解释IB如何为理解诸如随机梯度下降和变分自编码器等不同机器学习方法提供统一的理论视角。
• 强调在将信息论应用于深度神经网络时，尤其是连续的、确定性架构中，所面临的技术挑战和常见错误。
• 考察使用互信息来界定深度学习中泛化误差的理论与实际局限性。
• 澄清近期基于IB的方法中的误解，特别是那些依赖于错误的马尔可夫假设或病态公式的问题。

提出的方法

• 回顾从充分统计量到信息瓶颈的信息提取历史演变，强调理论基础。
• 介绍IB目标函数：在保留关于Y的信息的前提下最小化互信息I(X;T)，即最大化I(Y;T) − βI(X;T)。
• 解释Blahut-Arimoto算法作为求解IB的经典方法，尽管其仅适用于离散或指数族分布。
• 讨论IB的变分近似方法，通过摊销推理使IB可应用于连续和复杂的深度学习模型。
• 分析使用训练数据S与学习模型A(S)之间的互信息I(S;A(S))来界定泛化误差，基于信息论中的泛化界。
• 批判性评估近期将此泛化界应用于DNN的尝试，识别出如数据流中不合理的马尔可夫假设等缺陷。

实验结果

研究问题

• RQ1 信息瓶颈框架如何将随机梯度下降和变分自编码器等看似不同的机器学习方法统一起来？
• RQ2 将信息论概念应用于深度神经网络时，其理论与实际局限性是什么，尤其是在连续的、确定性设置中？
• RQ3 为何使用互信息来训练确定性深度网络被认为是病态问题，其后果是什么？
• RQ4 当解空间未被正确约束时，IB的变分近似在哪些方面会失效？
• RQ5 能否通过训练数据与模型参数之间的互信息来有意义地界定深度学习模型的泛化误差，此类界限背后的假设是什么？

主要发现

• 信息瓶颈提供了一个统一的理论框架，通过信息压缩与预测的视角，将最小 sufficient 统计量、随机梯度下降和变分自编码器联系起来。
• 研究表明，当使用变分近似求解时，变分自编码器是IB框架的一个特例，从而在生成建模与表征学习之间建立了深刻的理论联系。
• 将互信息用于训练确定性深度网络会导致病态问题，因为联合分布变为奇异分布，使得在无正则化的情况下无法进行MI估计。
• 近期尝试使用I(S;A(S))来界定DNN的泛化误差存在缺陷，原因在于其不合理的马尔可夫假设W → S → S₁ → … → Sm，该假设在实践中并不成立。
• 尽管I(S;A(S))的泛化界在理论上具有吸引力，但由于在具有未知分布的复杂高维模型中估计互信息的困难，其在实践中难以实现。
• 尽管理论前景广阔，信息论在深度学习中的应用仍具挑战性，尤其体现在互信息估计和变分族选择的技术陷阱上。