[论文解读] Context Augmentation for Convolutional Neural Networks

Ayşegül Dündar, Ignacio Garcia‐Dorado|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 24被引用 3

一句话总结

本文提出了一种针对卷积神经网络（ConvNets）的上下文感知数据增强方法，通过将前景物体与背景分离并应用针对性增强。在仅使用500张标注图像的情况下，通过在多样化背景上下文中进行训练并使用分割增强（例如，仅对前景进行翻转、平移等操作），该方法将图像分类准确率提升了25.5%——从47.4%提高到59.5%，在低数据场景下表现出显著优势。

ABSTRACT

Recent enhancements of deep convolutional neural networks (ConvNets) empowered by enormous amounts of labeled data have closed the gap with human performance for many object recognition tasks. These impressive results have generated interest in understanding and visualization of ConvNets. In this work, we study the effect of background in the task of image classification. Our results show that changing the backgrounds of the training datasets can have drastic effects on testing accuracies. Furthermore, we enhance existing augmentation techniques with the foreground segmented objects. The findings of this work are important in increasing the accuracies when only a small dataset is available, in creating datasets, and creating synthetic images.

研究动机与目标

• 研究背景上下文对图像分类中ConvNet性能的影响。
• 通过改进数据增强技术，解决小规模标注数据集下准确率低下的挑战。
• 开发利用前景-背景分割的新增强策略，以提升模型泛化能力。
• 在仅使用少量标注数据的前提下，实现合成数据集的构建与更优的数据整理。

提出的方法

• 作者通过手动解析的方式，将STL-10数据集中的图像分割为前景物体和背景。
• 通过将同一类别、不同类别的背景与前景物体组合，或替换为均值背景值，生成增强后的训练数据。
• 通过仅对前景物体执行变换（如翻转、平移、旋转）而保留背景，实现分割数据增强。
• 将标准增强技术（如随机翻转、平移、旋转）应用于整张图像，作为基线对比。
• 通过结合标准增强与分割增强，以最大化数据多样性与模型性能。
• 实验在STL-10数据集的500张和5000张图像子集上，对比了不同背景配置与增强策略下的准确率表现。

实验结果

研究问题

• RQ1 当训练数据有限时，背景上下文如何影响ConvNet的准确率？
• RQ2 前景-背景分离能否提升小样本图像分类中的泛化能力？
• RQ3 在仅使用少量标注数据的情况下，标准增强与分割增强哪种技术能带来更高的准确率？
• RQ4 使用与前景物体相同类别或不同类别的背景，是否会影响模型性能？

主要发现

• 仅使用500张图像训练时，基线准确率为47.4%，通过结合标准与分割增强后提升至59.5%，相对提升达25.5%。
• 使用与前景物体相同类别的背景，准确率提升至54.4%，相较基线有所提高。
• 分割后的水平翻转使准确率提升至55.4%，而分割平移进一步将其提高至58.9%。
• 最终模型结合所有有效增强方法（排除未提升性能的旋转）在500张图像下达到59.5%的准确率。
• 标准增强单独使用时优于分割增强，但两者结合可进一步提升性能。
• 背景上下文在分类中起着关键作用；在某些情况下，仅背景即可提供足够线索以实现正确预测。