[论文解读] Learning Optimal Representations with the Decodable Information Bottleneck

Yann Dubois, Douwe Kiela+2 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用 3

一句话总结

Decodable Information Bottleneck (DIB) 框架通过将压缩与信息保留与特定预测族（例如线性分类器）对齐，优化了监督学习中的表示学习，从而提升了泛化能力。该框架提供了理论保证，并在下游模型中实证减少了泛化差距。

ABSTRACT

We address the question of characterizing and finding optimal representations for supervised learning. Traditionally, this question has been tackled using the Information Bottleneck, which compresses the inputs while retaining information about the targets, in a decoder-agnostic fashion. In machine learning, however, our goal is not compression but rather generalization, which is intimately linked to the predictive family or decoder of interest (e.g. linear classifier). We propose the Decodable Information Bottleneck (DIB) that considers information retention and compression from the perspective of the desired predictive family. As a result, DIB gives rise to representations that are optimal in terms of expected test performance and can be estimated with guarantees. Empirically, we show that the framework can be used to enforce a small generalization gap on downstream classifiers and to predict the generalization ability of neural networks.

研究动机与目标

• 为解决传统信息瓶颈方法在表示学习中忽略特定预测族（解码器）的局限性。
• 开发一种以泛化能力优化为目标而非仅压缩的表示学习框架。
• 提供一种理论基础扎实的方法，可估计具有性能保证的表示。
• 通过表示设计更好地预测神经网络的泛化能力。
• 通过实证方法在下游分类器上展示所提框架可减少泛化差距。

提出的方法

• DIB 框架通过在优化过程中引入预测族（解码器），修改了信息瓶颈目标。
• 它提出一种解码器感知的压缩目标，以保留与特定预测任务相关的信息。
• 该方法通过变分近似提高可操作性，优化表示以最小化期望测试误差，同时保持压缩。
• 该框架可估计具有泛化性能理论保证的表示。
• 它利用变分推理，近似解码器感知目标下的最优表示分布。
• 该方法应用于训练具有可控归纳偏置的神经网络，以提升泛化能力。

实验结果

研究问题

• RQ1 如何优化表示学习以提升泛化能力而非仅压缩？
• RQ2 将预测族纳入表示学习目标会产生何种影响？
• RQ3 DIB 框架能否为下游分类器的测试性能提供理论保证？
• RQ4 DIB 在多大程度上可减少神经网络模型的泛化差距？
• RQ5 该框架能否预测训练后神经网络的泛化能力？

主要发现

• DIB 框架通过与特定预测族对齐，生成了针对期望测试性能最优的表示。
• 实证结果表明，DIB 可在下游分类器上强制实现较小的泛化差距。
• 该框架可基于学习到的表示准确预测神经网络的泛化能力。
• DIB 提供了表示质量的理论保证，将压缩与预测性能联系起来。
• 与传统信息瓶颈相比，该方法在泛化性能上表现更优，尤其在可提前获知预测族时。
• 该框架在各种下游分类任务中表现出更强的鲁棒性与泛化能力。