[论文解读] Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition

Hao Li, Xiaopeng Zhang+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 4

一句话总结

本文提出 Attribute Mix，一种用于细粒度图像识别的语义数据增强方法，该方法在属性层面混合两张图像的判别性属性特征，而非随机混合图像块或像素。通过自动挖掘子类别间的共享属性，并利用仅带有粗粒度标签的通用领域图像，该方法显著提升了模型泛化能力，在 CUB-200-2011、Stanford Cars 和 FGVC-Aircraft 上实现了最先进性能，且未增加推理成本。

ABSTRACT

Collecting fine-grained labels usually requires expert-level domain knowledge and is prohibitive to scale up. In this paper, we propose Attribute Mix, a data augmentation strategy at attribute level to expand the fine-grained samples. The principle lies in that attribute features are shared among fine-grained sub-categories, and can be seamlessly transferred among images. Toward this goal, we propose an automatic attribute mining approach to discover attributes that belong to the same super-category, and Attribute Mix is operated by mixing semantically meaningful attribute features from two images. Attribute Mix is a simple but effective data augmentation strategy that can significantly improve the recognition performance without increasing the inference budgets. Furthermore, since attributes can be shared among images from the same super-category, we further enrich the training samples with attribute level labels using images from the generic domain. Experiments on widely used fine-grained benchmarks demonstrate the effectiveness of our proposed method.

研究动机与目标

• 解决细粒度识别中有限且需专家标注的训练数据带来的挑战。
• 在低数据环境下提升模型泛化能力并减少过拟合。
• 通过利用子类别间可迁移的属性特征以及通用领域图像，实现有效的数据增强。
• 开发一种低开销、通用的数据增强框架，可与现有最先进模型兼容。

提出的方法

• 提出 Attribute Mix，一种基于自动挖掘的判别性区域，从两张图像中混合语义上有意义的属性特征的数据增强策略。
• 在多热属性分类网络中引入迭代掩码机制，以发现图像间多样且具有判别性的属性。
• 使用熵排序方法在从通用领域图像（如 PASCAL VOC）中挖掘属性时过滤噪声样本，提升对无关或错误标注数据的鲁棒性。
• 根据特征融合的程度，按比例进行属性级标签混合，保持增强样本的语义一致性。
• 通过利用仅带有通用标签（如“鸟”或“车”）的图像，将方法扩展为 Attribute Mix+，以极低标注成本丰富训练数据。
• 将该方法与 S3N 和 MGE-CNN 等最先进模型结合，无需修改网络结构，证明了其广泛兼容性。

实验结果

研究问题

• RQ1 与 Mixup 和 CutMix 等随机混合方法相比，基于属性的两图特征混合是否能提升细粒度识别性能？
• RQ2 能否在无需细粒度标签的情况下，自动发现并利用判别性属性进行数据增强？
• RQ3 从仅带有粗粒度标签的通用领域图像中，属性特征在多大程度上可迁移到细粒度训练数据中？
• RQ4 熵排序在从通用数据集中挖掘属性时，对过滤噪声或无关图像的效率如何？
• RQ5 Attribute Mix 是否可普遍应用于不同最先进细粒度识别模型并提升其性能？

主要发现

• 在 CUB-200-2011 上，Attribute Mix 达到 88.4% 的 top-1 准确率，较 Mixup（85.9%）和 CutMix（86.2%）高出超过 2.2 个百分点。
• 在 Stanford Cars 上，Attribute Mix 达到 94.9% 的准确率，较基线提升 3.2 个百分点，且较 CutMix 提升 2.6 个百分点。
• 与 S3N 结合后，Attribute Mix 在 Stanford Cars 上达到 95.2% 的准确率，在 FGVC-Aircraft 上达到 93.4%，实现最先进性能。
• Attribute Mix+ 在仅使用通用领域标签的情况下显著提升性能，即使在 PASCAL VOC 07+12 中包含 16.3% 的噪声图像，也表现出对标签噪声的鲁棒性。
• 熵排序机制有效过滤噪声样本，当 τ=1.5 时，保留图像数从 11,000 降至 1,833。
• 该方法在不增加推理成本的前提下，提升了多个基准测试的性能，证明了其高效性与泛化能力。