[论文解读] Learnability for the Information Bottleneck

Tailin Wu, Ian Fischer+2 more|DSpace@MIT (Massachusetts Institute of Technology)|Jul 17, 2019

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了 IB-Learnability，一个理论框架，揭示了信息瓶颈（IB）目标函数在超参数 β 控制下的显著相变。该理论证明：当 β 过小时，学习会失败（平凡表示成为最优）；并基于显著子集（即高置信度、典型且不平衡的样本）推导出成功学习的充分条件，从而实现对 MNIST 和 CIFAR10 等数据集的 β 值实用估计。

ABSTRACT

The Information Bottleneck (IB) method (\cite{tishby2000information}) provides an insightful and principled approach for balancing compression and prediction for representation learning. The IB objective $I(X;Z)-βI(Y;Z)$ employs a Lagrange multiplier $β$ to tune this trade-off. However, in practice, not only is $β$ chosen empirically without theoretical guidance, there is also a lack of theoretical understanding between $β$, learnability, the intrinsic nature of the dataset and model capacity. In this paper, we show that if $β$ is improperly chosen, learning cannot happen -- the trivial representation $P(Z|X)=P(Z)$ becomes the global minimum of the IB objective. We show how this can be avoided, by identifying a sharp phase transition between the unlearnable and the learnable which arises as $β$ is varied. This phase transition defines the concept of IB-Learnability. We prove several sufficient conditions for IB-Learnability, which provides theoretical guidance for choosing a good $β$. We further show that IB-learnability is determined by the largest confident, typical, and imbalanced subset of the examples (the conspicuous subset), and discuss its relation with model capacity. We give practical algorithms to estimate the minimum $β$ for a given dataset. We also empirically demonstrate our theoretical conditions with analyses of synthetic datasets, MNIST, and CIFAR10.

研究动机与目标

• 为解决在选择 IB 超参数 β 时缺乏理论指导的问题，该参数通常凭经验选择。
• 识别由于 β 选择不当而导致 IB 目标无法学习有意义表示的条件。
• 通过 β 增大时 IB 目标中出现的显著相变，刻画学习的起始点。
• 将 IB-Learnability 与数据的内在属性（如显著子集——高置信度、典型且不平衡的样本）联系起来。
• 提供实用算法，用于估计真实数据集上实现可学习性的最小 β 值。

提出的方法

• 引入 IB-Learnability 概念，作为 IB 目标函数中不可学习与可学习状态之间的相变。
• 通过 IB 目标函数的二阶变分推导出 IB-Learnability 的充分条件，将 β 与数据统计量关联。
• 识别出‘显著子集’——即高置信度、典型且不平衡的样本的最大子集——作为决定 IB-Learnability 的关键因素。
• 建立 IB-Learnability 与信息论量之间的理论联系：超收缩系数、压缩系数和最大相关系数。
• 提出算法 1，通过分析数据分布和显著子集，估计实现可学习性的最小 β 值。
• 在合成数据、MNIST 和 CIFAR10 上使用变分推断和 VIB 模型，对理论预测进行实证验证。

实验结果

研究问题

• RQ1 在什么 β 值下，IB 目标函数从无法学习（平凡表示）转变为成功学习非平凡表示？
• RQ2 哪些内在数据属性决定了给定 β 值是否能在 IB 框架中实现学习？
• RQ3 IB-Learnability 如何与数据分布结构相关联，特别是与高置信度、典型且不平衡样本的存在相关？
• RQ4 IB-Learnability 的理论条件能否用于预测真实世界数据集上实现成功学习所需的最小 β 值？
• RQ5 IB-Learnability 与既有的信息论度量（如超收缩系数和最大相关系数）之间存在何种关系？

主要发现

• 当 β 过小时，平凡表示 P(Z|X) = P(Z) 成为 IB 目标函数的全局最小值，导致学习无法进行。
• 在临界 β 值处发生显著相变，标志着 IB-Learnability 的开始，该现象在 MNIST 和 CIFAR10（含 20% 标签噪声）中均被实证观察到。
• 实现学习所需的最小 β 值由显著子集（高置信度、典型且不平衡的样本）决定，其大小和统计特性决定了阈值。
• 对于含 20% 标签噪声的 MNIST 数据集，相变发生在 β ≈ 3.25 附近，准确率从随机猜测（50%）急剧上升至 90% 以上。
• 理论预测的 β₀（实现可学习性的最小 β 值）与实证结果高度吻合：在含 20% 标签噪声的 CIFAR10 上，β₀ ≈ 1.0483。
• 用于估计 β₀ 的算法在合成数据和真实数据集上，成功逼近了理论阈值和实际模型性能。