[论文解读] Adaptive Network Sparsification via Dependent Variational Beta-Bernoulli Dropout

Juho Lee, Saehoon Kim+4 more|arXiv (Cornell University)|May 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用 7

一句话总结

本文提出自适应变分 beta-Bernoulli 推迟，一种通过稀疏性诱导的 beta-Bernoulli 先验学习每个神经元输入相关dropout率的方法。通过允许神经元自适应地变为通用、输入特定或剪枝状态，该方法在多个数据集上实现了显著更紧凑的模型，并保持一致的准确率提升，优于基线稀疏化方法。

ABSTRACT

While variational dropout approaches have been shown to be effective for network sparsification, they are still suboptimal in the sense that they set the dropout rate for each neuron without consideration of the input data. With such input-independent dropout, each neuron is evolved to be generic across inputs, which makes it difficult to sparsify networks without accuracy loss. To overcome this limitation, we propose adaptive variational dropout whose probabilities are drawn from sparsity-inducing beta Bernoulli prior. It allows each neuron to be evolved either to be generic or specific for certain inputs, or dropped altogether. Such input-adaptive sparsity-inducing dropout allows the resulting network to tolerate larger degree of sparsity without losing its expressive power by removing redundancies among features. We validate our dependent variational beta-Bernoulli dropout on multiple public datasets, on which it obtains significantly more compact networks than baseline methods, with consistent accuracy improvements over the base networks.

研究动机与目标

• 解决标准变分 dropout 的局限性，即对所有输入应用固定且与输入无关的 dropout 率。
• 使神经元能够基于输入上下文自适应地变为通用、输入特定或剪枝状态，从而提高稀疏性效率。
• 通过学习保留模型表达能力的输入自适应稀疏模式，减少网络冗余。
• 通过结构化的、稀疏性诱导的先验实现更高的模型紧凑性，且不造成准确率下降。
• 在公开基准上验证该方法，证明其在现有稀疏化技术上的持续改进。

提出的方法

• 该方法采用依赖的变分推断框架，其中 dropout 率从 beta-Bernoulli 先验中抽取，以鼓励稀疏性。
• 每个神经元的 dropout 概率基于输入特征动态确定，从而实现输入自适应行为。
• beta-Bernoulli 先验诱导出结构化稀疏模式，使神经元可为活跃、输入特定或完全被丢弃。
• 使用重参数化技术进行高效梯度估计，通过随机梯度下降端到端训练模型。
• 该方法可自动识别并去除不同类型输入下的冗余特征。
• 通过学习每个神经元的、与输入相关的剪枝策略，平衡模型表达能力与稀疏性。

实验结果

研究问题

• RQ1 输入自适应的 dropout 率是否能在保持准确率的同时改善网络稀疏化？
• RQ2 依赖的 beta-Bernoulli 先验是否比标准变分 dropout 更有效地实现神经元剪枝？
• RQ3 模型能否通过适应输入特定模式，在高稀疏度下仍保持表达能力？
• RQ4 与基线稀疏化技术相比，该方法在模型大小和准确率方面表现如何？
• RQ5 在不造成性能下降的前提下，利用输入自适应稀疏性可去除多少特征冗余？

主要发现

• 所提方法在多个公开数据集上均实现了显著比基线方法更紧凑的网络。
• 即使在高稀疏度下，所得模型的准确率仍与基础网络相当或更高。
• 该方法使神经元能够基于输入上下文自适应地专业化或被丢弃，从而减少特征冗余。
• 使用依赖的 beta-Bernoulli 先验相比标准变分 dropout 能更有效地诱导稀疏性。
• 在模型效率与准确率权衡方面，该方法始终优于现有稀疏化技术。
• 模型在多样化数据集上表现出稳健性能，证实了输入自适应稀疏性的有效性。