[论文解读] DropBlock: A regularization method for convolutional networks

Golnaz Ghiasi, Tsung-Yi Lin+1 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Neural Network Applications被引用 517

一句话总结

DropBlock 通过在特征图中连续区域进行 dropout，提供结构化正则化，相较于标准 dropout 提升 CNN 的正则化效果和准确率。它在 ImageNet 和 COCO 上对 ResNet-50 与 AmoebaNet 架构取得显著提升。

ABSTRACT

Deep neural networks often work well when they are over-parameterized and trained with a massive amount of noise and regularization, such as weight decay and dropout. Although dropout is widely used as a regularization technique for fully connected layers, it is often less effective for convolutional layers. This lack of success of dropout for convolutional layers is perhaps due to the fact that activation units in convolutional layers are spatially correlated so information can still flow through convolutional networks despite dropout. Thus a structured form of dropout is needed to regularize convolutional networks. In this paper, we introduce DropBlock, a form of structured dropout, where units in a contiguous region of a feature map are dropped together. We found that applying DropbBlock in skip connections in addition to the convolution layers increases the accuracy. Also, gradually increasing number of dropped units during training leads to better accuracy and more robust to hyperparameter choices. Extensive experiments show that DropBlock works better than dropout in regularizing convolutional networks. On ImageNet classification, ResNet-50 architecture with DropBlock achieves $78.13\%$ accuracy, which is more than $1.6\%$ improvement on the baseline. On COCO detection, DropBlock improves Average Precision of RetinaNet from $36.8\%$ to $38.4\%$.

研究动机与目标

• 在卷积神经网络中，由于空间相关特征在使用标准 dropout 时的正则化效果受限，因此需要更好的正则化。
• 提出 DropBlock 作为一种结构化 dropout，它在特征图中丢弃连续区域。
• 研究在卷积块和跳跃连接上应用 DropBlock 的影响，并对丢弃概率进行调度。
• 展示 DropBlock 在 ImageNet 分类、COCO 目标检测和 PASCAL VOC 语义分割上的有效性。

提出的方法

• 将 DropBlock 定义为在特征图中丢弃连续区域（块）。
• 对每个特征图采样一个伯努利掩码以选择种子位置，然后将每个种子扩展为大小为 block_size 的块。
• 在掩码后对特征图进行归一化，以保持期望的激活统计。
• 引入一种调度方法，在训练过程中逐步降低 keep_prob 以增强鲁棒性。
• 在多种架构（ResNet-50、AmoebaNet-B）和任务（图像分类、目标检测、分割）上评估 DropBlock。

实验结果

研究问题

• RQ1 结构化 dropout（DropBlock）是否在 CNN 正则化方面优于传统 dropout？
• RQ2 哪些块大小和调度策略在不同架构和任务上能获得最佳性能？
• RQ3 在残差网络中将 DropBlock 应用于跳跃连接是否有益？
• RQ4 DropBlock 是否能在除了图像分类之外的视觉任务（如目标检测和分割）中提升性能？

主要发现

• 在 ImageNet 的 ResNet-50 上，DropBlock 连续优于 dropout 和 SpatialDropout，达到 78.13% 的 top-1 精度（kp=0.9），相比基线 76.51% 。
• 结合调度并应用于跳跃连接的 DropBlock 进一步提升，在标签平滑 (label smoothing) 下达到 78.35% 的 top-1。
• 在 AmoebaNet-B (6, 256) 上，DropBlock 将 top-1 精度从 82.25% 提升到 82.52%。
• 在 COCO 目标检测的 RetinaNet 上，DropBlock 使 AP 从 36.8% 提升至 38.4%。
• 将 DropBlock 应用于语义分割（PASCAL VOC）从头训练时，mIOU 提升，例如 block_size=16 时为 53.4%，相比未使用 DropBlock 的 47.2%。