[论文解读] The Dual Information Bottleneck

Zoe Piran, Ravid Shwartz-Ziv+1 more|arXiv (Cornell University)|Jun 8, 2020

Computability, Logic, AI Algorithms参考文献 33被引用 12

一句话总结

该论文提出了一种新型的信息论框架——双重信息瓶颈（dualIB），通过显式建模预测变量 $\hat{Y}$，在表示学习中克服了原始信息瓶颈（IB）方法的关键局限。该框架为指数族数据提供了解析解，优化了误差指数，并通过变分公式实现了深度神经网络的可扩展训练，在CIFAR-10和CIFAR-100上的实验表明其具有更优的信息平面动态特性与泛化性能。

ABSTRACT

The Information Bottleneck (IB) framework is a general characterization of optimal representations obtained using a principled approach for balancing accuracy and complexity. Here we present a new framework, the Dual Information Bottleneck (dualIB), which resolves some of the known drawbacks of the IB. We provide a theoretical analysis of the dualIB framework; (i) solving for the structure of its solutions (ii) unraveling its superiority in optimizing the mean prediction error exponent and (iii) demonstrating its ability to preserve exponential forms of the original distribution. To approach large scale problems, we present a novel variational formulation of the dualIB for Deep Neural Networks. In experiments on several data-sets, we compare it to a variational form of the IB. This exposes superior Information Plane properties of the dualIB and its potential in improvement of the error.

研究动机与目标

• 为解决标准信息瓶颈（IB）框架缺乏对预测变量的显式建模且假设可完全访问联合分布的问题。
• 构建一个系统性框架，通过将预测标签 $\hat{Y}$ 纳入优化过程，以实现对未见数据的泛化性能优化。
• 为dualIB提供解析解，尤其针对服从指数族分布的数据，保持充分统计量的完整性。
• 通过一种新颖的变分公式，使dualIB能够有效应用于深度神经网络。
• 通过信息平面分析与真实世界数据集上的误差性能，实证验证dualIB的理论优势。

提出的方法

• 引入一个新的马尔可夫链 $Y \rightarrow X \rightarrow \hat{X} \rightarrow \hat{Y}$，其中 $\hat{Y}$ 为预测标签，显式建模预测阶段。
• 提出dualIB拉格朗日函数，优化表示压缩 $I(X;\hat{X})$ 与预测保真度 $I(Y;\hat{X})$ 之间的权衡，重点在于最小化预测误差指数。
• 推导出dualIB的解析解，尤其针对指数族分布，得到保留原始分布充分统计量的dualExpIB公式。
• 为深度神经网络开发变分dualIB（VdualIB）公式，利用高斯平滑等噪声模型及预训练网络的预测结果，近似标签不确定性。
• 基于预训练ResNet的混淆矩阵构建噪声模型，以在VdualIB训练过程中引入真实的标签不确定性。
• 使用信息平面（$I(X;\hat{X})$ 与 $I(Y;\hat{X})$ 的关系）分析并比较dualIB与IB在训练过程中的动态特性。

实验结果

研究问题

• RQ1 与标准IB相比，显式建模预测变量 $\hat{Y}$ 如何提升表示学习中的泛化性能与误差指数？
• RQ2 dualIB框架是否存在解析解，特别是针对服从指数族分布的数据？
• RQ3 能否通过变分近似有效将dualIB框架适配至深度神经网络？
• RQ4 标签噪声模型的选择如何影响VdualIB训练过程的性能与稳定性？
• RQ5 与IB相比，dualIB的信息平面动态特性如何？其与泛化性能之间是否存在相关性？

主要发现

• 与标准IB相比，dualIB框架在预测误差指数上实现了更紧的上界，表明其泛化性能更优。
• 对于服从指数族分布的数据，dualExpIB解能够保留原始分布的充分统计量，确保结构保真性。
• 使用高精度预训练网络（在CIFAR-10上准确率达95.8%）的混淆矩阵噪声模型训练的VdualIB模型，其信息平面动态特性更接近理论dualIB，优于标准VIB。
• 在CIFAR-10上，使用高斯噪声模型的VdualIB性能与标签平滑相当，且在高 $\beta$ 值下展现出更优的训练稳定性。
• 在CIFAR-100上，使用混淆矩阵噪声模型的VdualIB展现出单调的信息平面演化，但性能仍逊于VIB，可能由于噪声模型本身存在较高错误率（19.8%）。
• VdualIB的信息平面在低 $\beta$ 时趋于饱和，高 $\beta$ 时出现过拟合，其行为与VIB一致，表明二者具有相似的优化动力学。