[论文解读] DropCluster: A structured dropout for convolutional networks

Liyan Chen, Philip Gautier+1 more|arXiv (Cornell University)|Feb 7, 2020

Advanced Neural Network Applications参考文献 30被引用 7

一句话总结

DropCluster 是一种面向卷积神经网络的数据驱动结构化丢弃方法，通过学习特征图中相关特征的空间聚类，并在训练过程中丢弃整个聚类以提升正则化效果。它在 CIFAR-100 和 Tiny ImageNet 上优于 DropBlock 及其他结构化丢弃变体，展现出更高的准确率、对小规模训练集的更强鲁棒性，以及在无对抗训练条件下的抗数据污染能力。

ABSTRACT

Dropout as a common regularizer to prevent overfitting in deep neural networks has been less effective in convolutional layers than in fully connected layers. This is because Dropout drops features randomly, without considering local structure. When features are spatially correlated, as in the case of convolutional layers, information from the dropped features can still propagate to subsequent layers via neighboring features. To address this problem, structured forms of Dropout have been proposed. A drawback of these methods is that they do not adapt to the data. In this work, we leverage the structure in the outputs of convolutional layers and introduce a novel structured regularization method named DropCluster. Our approach clusters features in convolutional layers, and drops the resulting clusters randomly during training iterations. Experiments on CIFAR-10/100, SVHN, and APPA-REAL datasets demonstrate that our approach is effective and controls overfitting better than other approaches.

研究动机与目标

• 解决标准丢弃在卷积层中因空间特征相关性而导致的正则化效果有限的问题。
• 克服如 DropBlock 等固定结构正则化器的局限性，后者使用刚性、非自适应的丢弃模式。
• 通过学习动态、数据自适应的聚类结构，提升在数据稀缺和分布偏移情况下的模型泛化与鲁棒性。
• 开发一种在训练过程中能同时适应模型权重与数据分布的方法，以增强 CNN 的正则化效果。

提出的方法

• 应用递归最近邻凝聚聚类（ReNA）以识别卷积层激活中的空间相关特征聚类。
• 在训练过程中定期学习并更新聚类结构，以适应不断演化的特征表示与数据模式。
• 在训练过程中丢弃整个特征聚类，以破坏冗余的相关信息，提升泛化能力。
• 对于无法检测到显著聚类结构的通道，直接丢弃整个通道以防止过拟合。
• 使用空间霍普金斯统计量定量评估特征图中的聚类倾向，且该评估独立于聚类算法与聚类数量。
• 将该方法集成至 ResNet-50 架构中，采用标准训练协议，在多个数据集与设置下评估性能。

实验结果

研究问题

• RQ1 与固定结构的替代方法相比，一种数据驱动、自适应的结构化丢弃方法是否能提升卷积神经网络的泛化能力？
• RQ2 在小规模训练数据设置下，DropCluster 与 DropBlock 及 StochasticDepth 的性能表现如何比较？
• RQ3 DropCluster 在测试输入中面对常见数据污染（如噪声与模糊）时，其鲁棒性提升程度如何？
• RQ4 使用数据自适应聚类机制是否能带来优于基于网络结构设计或固定模式丢弃的模型泛化性能？
• RQ5 空间霍普金斯统计量是否能可靠地检测不同层与数据集的特征图中的聚类倾向？

主要发现

• 在使用完整训练数据的 Tiny ImageNet 上，DropCluster 达到 66.26% 的 Top-1 准确率，优于 DropBlock（65.59%）及其他所有基线模型。
• 在小规模训练数据设置下，DropCluster 保持了更强的鲁棒性，在仅使用 10% 训练数据时达到 57.92% 的 Top-1 准确率，远超 StochasticDepth 的 29.04%。
• 在严重程度为 1 的污染设置下，DropCluster 在高斯噪声测试中达到 62.57% 的 Top-1 准确率，优于 DropBlock（61.25%）与 StochasticDepth（62.08%）。
• DropCluster 在所有污染类型下均表现出 Top-5 准确率的持续提升，其中在散焦模糊（78.94%）与玻璃模糊（75.23%）中取得最高分。
• 空间霍普金斯统计量验证了特征图中存在显著的聚类倾向，证实了基于聚类的正则化方法的可行性。
• 即使在无对抗训练条件下，DropCluster 仍展现出优于其他方法的泛化能力，表明其对分布偏移与数据污染具有内在鲁棒性。