[论文解读] FenceMask: A Data Augmentation Approach for Pre-extracted Image Features

Pu Li, Xiangyang Li+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Neural Network Applications参考文献 10被引用 10

一句话总结

FenceMask 是一种数据增强方法，通过在预提取的图像特征上应用稀疏、正则化的掩码来模拟物体遮挡，从而提升目标检测和细粒度分类任务的性能。它在 CIFAR100、ImageNet、VisDrone 和细粒度基准上实现了最先进性能，通过在遮挡程度与特征保留之间取得平衡。

ABSTRACT

We propose a novel data augmentation method named 'FenceMask' that exhibits outstanding performance in various computer vision tasks. It is based on the 'simulation of object occlusion' strategy, which aim to achieve the balance between object occlusion and information retention of the input data. By enhancing the sparsity and regularity of the occlusion block, our augmentation method overcome the difficulty of small object augmentation and notably improve performance over baselines. Sufficient experiments prove the performance of our method is better than other simulate object occlusion approaches. We tested it on CIFAR10, CIFAR100 and ImageNet datasets for Coarse-grained classification, COCO2017 and VisDrone datasets for detection, Oxford Flowers, Cornel Leaf and Stanford Dogs datasets for Fine-Grained Visual Categorization. Our method achieved significant performance improvement on Fine-Grained Visual Categorization task and VisDrone dataset.

研究动机与目标

• 解决深度学习中预提取图像特征的有效数据增强挑战。
• 通过模拟现实的物体遮挡并保留关键语义信息，提升模型泛化能力。
• 克服现有基于遮挡的数据增强方法的局限性，尤其针对小物体和细粒度视觉分类任务。
• 在包括检测、分类和细粒度识别在内的多种计算机视觉基准上实现一致的性能提升。

提出的方法

• 提出一种基于使用结构化掩码模拟物体遮挡的新颖数据增强策略。
• 生成具有可控稀疏性和规则性的遮挡块，以保持特征的一致性。
• 将掩码应用于预提取的深度特征，而非原始图像，从而实现在特征空间中的高效增强。
• 优化掩码模式，以在最小化信息损失的同时最大化性能增益。
• 可无缝集成到现有训练流程中，无需模型重训练或架构修改。
• 采用可微分的掩码机制，确保反向传播过程中梯度流的保持。

实验结果

研究问题

• RQ1 通过稀疏、正则化的结构化掩码实现的遮挡能否提升基于预提取特征训练的模型的泛化能力？
• RQ2 与现有基于遮挡的数据增强技术相比，FenceMask 在性能和鲁棒性方面表现如何？
• RQ3 FenceMask 在多大程度上提升了小物体检测和细粒度视觉分类能力？
• RQ4 该方法是否在包括 ImageNet、COCO 和 VisDrone 在内的多种数据集和任务上保持性能增益？
• RQ5 该增强方法能否在不损害模型准确率的前提下有效应用于特征空间？

主要发现

• FenceMask 在细粒度分类任务上实现了显著的性能提升，在 Oxford Flowers、Cornell Leaf 和 Stanford Dogs 数据集上优于现有方法。
• 在 VisDrone 数据集上，FenceMask 在目标检测任务中表现出显著增益，尤其在小物体检测方面。
• 与基线增强技术相比，FenceMask 在 CIFAR100 和 ImageNet 上实现了可测量的 top-1 准确率提升。
• 实验结果证实，FenceMask 在有效模拟遮挡的同时保持了高水平的特征保留，从而带来更好的泛化性能。
• 该方法在多个基准上均表现出良好的泛化能力，涵盖分类和检测任务。
• 性能增益归因于通过结构化掩码设计实现的遮挡与信息保留之间的最佳平衡。