[论文解读] Contextual Dropout: An Efficient Sample-Dependent Dropout Module

Xinjie Fan, Shujian Zhang+3 more|arXiv (Cornell University)|Mar 6, 2021

Data Stream Mining Techniques参考文献 51被引用 11

一句话总结

本文提出上下文丢弃（contextual dropout），一种样本相关丢弃模块，通过轻量级的参数共享架构学习输入特定的丢弃率，从而在极低计算开销下提升深度神经网络的不确定性估计与准确率。该方法在图像分类和视觉问答任务中均优于标准丢弃与变分丢弃，尤其在噪声环境下表现更优。

ABSTRACT

Dropout has been demonstrated as a simple and effective module to not only regularize the training process of deep neural networks, but also provide the uncertainty estimation for prediction. However, the quality of uncertainty estimation is highly dependent on the dropout probabilities. Most current models use the same dropout distributions across all data samples due to its simplicity. Despite the potential gains in the flexibility of modeling uncertainty, sample-dependent dropout, on the other hand, is less explored as it often encounters scalability issues or involves non-trivial model changes. In this paper, we propose contextual dropout with an efficient structural design as a simple and scalable sample-dependent dropout module, which can be applied to a wide range of models at the expense of only slightly increased memory and computational cost. We learn the dropout probabilities with a variational objective, compatible with both Bernoulli dropout and Gaussian dropout. We apply the contextual dropout module to various models with applications to image classification and visual question answering and demonstrate the scalability of the method with large-scale datasets, such as ImageNet and VQA 2.0. Our experimental results show that the proposed method outperforms baseline methods in terms of both accuracy and quality of uncertainty estimation.

研究动机与目标

• 为解决深度神经网络中固定、与数据无关的丢弃概率所带来的不确定性估计质量受限的问题。
• 在不显著增加模型复杂度或推理成本的前提下，实现灵活的、样本特定的丢弃率。
• 开发一种可扩展、通用的丢弃模块，兼容多种神经网络层与丢弃类型（伯努利与高斯）。
• 在真实世界的大规模应用（如 ImageNet 与 VQA 2.0）中，同时提升预测准确率与不确定性校准性能。

提出的方法

• 提出一种上下文丢弃模块，利用共享的编码器-解码器结构将丢弃率参数化为输入协变量的函数。
• 采用变分推断目标来学习输入相关的丢弃分布，支持端到端训练。
• 复用主网络的参数来生成丢弃率，最大限度减少额外内存与计算开销。
• 将该模块应用于全连接层、卷积层与自注意力层，确保广泛的兼容性。
• 通过统一的参数化框架支持伯努利与高斯丢弃变体。
• 使用蒙特卡洛采样训练模型以近似后验期望，同时保持计算效率。

实验结果

研究问题

• RQ1 与固定、与数据无关的丢弃相比，样本相关丢弃能否提升不确定性估计与模型准确率？
• RQ2 在不产生高昂计算或内存成本的前提下，学习样本特定的丢弃率是否可行？
• RQ3 在 ImageNet 与 VQA 2.0 等大规模数据集上，上下文丢弃在标准与噪声条件下的表现如何？
• RQ4 所提出的模块是否能在不同神经网络架构与层类型上实现泛化？
• RQ5 上下文丢弃能否用于微调预训练模型并带来性能提升？

主要发现

• 在 ImageNet 数据集上，上下文丢弃提升了微调后的预训练模型准确率，证明其在迁移学习中的实用性。
• 在原始 VQA 2.0 数据集上，上下文丢弃实现了 67.42% 的准确率与 71.65 PAvPU，优于所有基线方法。
• 在添加高斯噪声（σ=5）的噪声 VQA 数据上，上下文丢弃仍保持强劲表现，准确率达 63.73%，PAvPU 达 68.57%，显著优于标准丢弃方法。
• 该方法在不确定性估计方面表现出一致改进，对错误输出的预测更保守，对正确输出的预测更自信。
• 上下文丢弃的计算与内存开销极低，使其可扩展至大规模模型与数据集。
• 可视化结果表明，上下文丢弃在模糊或复杂问题类型中更符合人类标注模式。