[论文解读] Information Dropout: learning optimal representations through noise

Alessandro Achille, Stefano Soatto|arXiv (Cornell University)|Apr 24, 2017

Domain Adaptation and Few-Shot Learning被引用 20

一句话总结

本文提出信息丢弃（Information Dropout），一种基于信息瓶颈原理的噪声注入方法，通过自适应正则化隐藏激活来提升表征学习。该方法推广了现有的丢弃变体，能够学习对干扰因素不变的特征，并在重构任务中恢复变分自编码器，在小模型上尤其优于二值丢弃。

ABSTRACT

We introduce Information Dropout, a generalization of dropout that is motivated by the Information Bottleneck principle and highlights the way in which injecting noise in the activations can help in learning optimal representations of the data. Information Dropout is rooted in information theoretic principles, it includes as special cases several existing dropout methods, like Gaussian Dropout and Variational Dropout, and, unlike classical dropout, it can learn and build representations that are invariant to nuisances of the data, like occlusions and clutter. When the task is the reconstruction of the input, we show that the information dropout method yields a variational autoencoder as a special case, thus providing a link between representation learning, information theory and variational inference. Our experiments validate the theoretical intuitions behind our method, and we find that information dropout achieves a comparable or better generalization performance than binary dropout, especially on smaller models, since it can automatically adapt the noise to the structure of the network, as well as to the test sample.

研究动机与目标

• 提出一种基于信息论的、有理论依据的丢弃方法，以改善表征学习。
• 使模型能够学习对数据干扰（如遮挡和杂乱）不变的表征。
• 在统一的信息论框架下整合现有的丢弃方法。
• 建立表征学习、信息论与变分推断之间的联系。
• 展示在低数据量或小模型设置下的改进泛化性能。

提出的方法

• 信息丢弃基于信息论原则（特别是信息瓶颈方法）向隐藏激活注入噪声。
• 其优化目标被表述为最小化表征与输入之间的互信息，同时保留与任务相关的信息。
• 该方法通过为每层和每个样本学习最优噪声分布，推广了高斯丢弃和变分丢弃。
• 它使用表征后验的变分近似，支持端到端训练。
• 噪声调度是自适应的，取决于网络结构和输入数据，从而实现动态正则化。
• 在重构过程中，信息丢弃退化为变分自编码器，将其与生成建模联系起来。

实验结果

研究问题

• RQ1 基于信息论指导的噪声注入能否改善深度网络中的表征学习？
• RQ2 信息丢弃能否学习对遮挡和杂乱等数据干扰不变的表征？
• RQ3 在泛化性能方面，信息丢弃与二值丢弃、高斯丢弃和变分丢弃相比如何？
• RQ4 在重构任务中，信息丢弃能否恢复已知模型（如变分自编码器）？
• RQ5 自适应噪声调度是否能提升小模型或数据受限情况下的性能？

主要发现

• 信息丢弃在小模型上实现了与二值丢弃相当或更优的泛化性能。
• 该方法学习到对遮挡和杂乱等数据干扰不变的表征，提升了模型鲁棒性。
• 当任务为输入重构时，信息丢弃退化为变分自编码器，验证了理论一致性。
• 自适应噪声调度使模型能够根据输入和网络结构定制正则化，提升了学习效率。
• 实验验证了理论基础，表明基于信息论的噪声注入能产生更鲁棒和泛化能力更强的表征。