[论文解读] Information Dropout: Learning Optimal Representations Through Noisy Computation

Alessandro Achille, Stefano Soatto|arXiv (Cornell University)|Nov 4, 2016

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 15

一句话总结

本文提出信息正则化丢弃（Information Dropout），一种基于噪声的正则化方法，通过在激活值中注入乘法噪声，基于信息论原理改进深度神经网络的表征能力。该方法表明，该方法可增强不变性、最小性与解耦性，其性能与变分自编码器相当，且在小模型上优于标准丢弃，尤其在自适应噪声缩放下表现更优。

ABSTRACT

The cross-entropy loss commonly used in deep learning is closely related to the defining properties of optimal representations, but does not enforce some of the key properties. We show that this can be solved by adding a regularization term, which is in turn related to injecting multiplicative noise in the activations of a Deep Neural Network, a special case of which is the common practice of dropout. We show that our regularized loss function can be efficiently minimized using Information Dropout, a generalization of dropout rooted in information theoretic principles that automatically adapts to the data and can better exploit architectures of limited capacity. When the task is the reconstruction of the input, we show that our loss function yields a Variational Autoencoder as a special case, thus providing a link between representation learning, information theory and variational inference. Finally, we prove that we can promote the creation of disentangled representations simply by enforcing a factorized prior, a fact that has been observed empirically in recent work. Our experiments validate the theoretical intuitions behind our method, and we find that information dropout achieves a comparable or better generalization performance than binary dropout, especially on smaller models, since it can automatically adapt the noise to the structure of the network, as well as to the test sample.

研究动机与目标

• 通过信息论与统计决策理论中的充分性、最小性与不变性，形式化深度学习中最优表征的定义。
• 通过引入与乘法噪声相关的正则化项，解决标准交叉熵训练中对最小性与不变性缺乏显式约束的问题。
• 在统一的信息论框架下，将丢弃、变分推断与解耦性联系起来。
• 证明自适应噪声注入（信息正则化丢弃）可提升泛化能力，尤其在低容量网络中表现更优。
• 证明强制使用因子化先验可通过对总相关性的最小化，实现解耦表征。

提出的方法

• 提出一种基于信息瓶颈原理的正则化损失函数，其中正则项用于强制实现最小性与不变性。
• 提出信息正则化丢弃作为标准丢弃的推广，其中噪声方差按神经元与层自适应学习，而非固定不变。
• 将噪声建模为乘法形式，改变梯度计算方式，从而鼓励鲁棒且最小化的表征。
• 通过证明当任务为重构时，该方法退化为变分自编码器，建立与变分推断的联系。
• 在潜在变量分量上使用因子化先验以最小化总相关性，促进解耦。
• 采用变分下界近似信息论目标，实现端到端训练。

实验结果

研究问题

• RQ1 如何利用信息论原则（如充分性、最小性与不变性）形式化深度学习中的最优表征？
• RQ2 在神经网络激活值中注入乘法噪声是否可提升表征质量，特别是在不变性与最小性方面？
• RQ3 信息正则化丢弃、标准丢弃与变分自编码器之间存在何种理论联系？
• RQ4 强制使用因子化先验如何导致解耦表征？该机制能否得到形式化证明？
• RQ5 信息正则化丢弃能否自适应控制各层间的信息流并提升泛化能力，尤其在低容量网络中？

主要发现

• 由于每层与每个神经元均采用自适应噪声缩放，信息正则化丢弃在小模型上实现与标准二值丢弃相当或更优的泛化性能。
• 当使用因子化先验时，该方法显著降低潜在表征中的总相关性，为经验观察到的解耦性提供了形式化依据。
• 在杂乱MNIST与MNIST+CIFAR数据集上的实验表明，信息正则化丢弃可提升对遮挡与干扰因素的不变性。
• 通过测量单位时间内的平均信息传输量，验证了信息正则化丢弃允许不同层间传输不同量的信息。
• 在VAE基准测试中，信息正则化丢弃在较低的变分下界下实现了与高斯潜在变量相当的性能，表明其具备高效的表征学习能力。
• 在低容量网络中，该方法比标准丢弃更高效，因其通过自适应正则化更充分地利用了有限的模型容量。