[论文解读] Improving Fine-Grained Visual Classification using Pairwise Confusion

Abhimanyu Dubey, Otkrist Gupta+4 more|arXiv (Cornell University)|May 22, 2017

Domain Adaptation and Few-Shot Learning参考文献 37被引用 2

一句话总结

本文提出了一种名为成对混淆（Pairwise Confusion, PC）的新正则化技术，用于细粒度视觉分类（FGVC），通过在端到端训练过程中有意识地引入网络激活的混淆，提升特征泛化能力。PC 在小规模、高度可变的数据集上减少了过拟合，仅需极少的超参数调优，在六个基准 FGVC 数据集上实现了最先进性能，且推理阶段无额外开销。

ABSTRACT

Fine-Grained Visual Classification (FGVC) datasets contain small sample sizes, along with significant intra-class variation and inter-class similarity. While prior work has addressed intra-class variation using localization and segmentation techniques, the inter-class similarity may also affect feature learning and reduce classification performance. In this work, we address this problem using a novel optimization procedure for the end-to-end neural network training on FGVC tasks. This procedure, called Pairwise Confusion (PC) attempts to learn features with greater generalization, thereby preventing overfitting. This regularization during training is accomplished by intentionally introducing confusion in the activations. With PC regularization, we obtain state-of-the-art performance on six of the most widely-used FGVC datasets and demonstrate improved localization ability. PC is easy to implement, does not need excessive hyperparameter tuning during training, and does not add significant overhead during test time

研究动机与目标

• 为解决细粒度视觉分类（FGVC）数据集中类间相似性带来的挑战，此类问题会阻碍特征学习并加剧过拟合。
• 通过在训练过程中显式建模相似类别之间的混淆，提升模型泛化能力。
• 开发一种简单有效的正则化技术，无需大量超参数调优。
• 在小规模细粒度数据集上提升分类准确率与定位性能。
• 提供即插即用的解决方案，推理阶段开销可忽略不计。

提出的方法

• 该方法引入成对混淆（PC），一种训练阶段的正则化技术，通过在反向传播过程中有意识地混淆相似类别之间的激活。
• 通过修改损失函数，促使相似类别的特征表示变得更加模糊，从而提升对类间相似性的鲁棒性。
• 该技术以端到端方式应用于神经网络，无需架构修改或额外模块。
• PC 除标准训练设置外，无需额外超参数，易于实现。
• 该方法利用模拟混淆的梯度更新，促进在细粒度类别间具有更好泛化能力的特征学习。
• 该方法与标准优化算法兼容，且在推理阶段不增加计算开销。

实验结果

研究问题

• RQ1 在训练过程中引入受控混淆是否能提升细粒度视觉分类中的泛化能力？
• RQ2 成对混淆是否能减少在小规模、高度可变的 FGVC 数据集上的过拟合？
• RQ3 PC 是否能在不增加推理成本的前提下，同时提升分类准确率与定位性能？
• RQ4 PC 在标准 FGVC 基准上与现有正则化与定位技术相比表现如何？
• RQ5 PC 在具有不同类间相似性水平的多样化细粒度数据集上是否具备鲁棒性？

主要发现

• 成对混淆在六个广泛使用的 FGVC 数据集上实现了最先进性能，优于以往方法。
• 该方法提升了特征泛化能力，在具有高类内差异与类间相似性的数据集上减少了过拟合。
• PC 提升了定位能力，表明模型对判别性局部区域的关注更优。
• 该技术无需额外超参数调优，且在推理阶段无计算开销。
• 实验结果在多样化细粒度分类基准上均表现出一致增益，验证了受控混淆的有效性。
• 该方法实现简单，且与标准深度学习流水线完全兼容。