[论文解读] End-to-end Learning of a Fisher Vector Encoding for Part Features in Fine-grained Recognition

Dimitri Korsch, Paul Bodesheim+1 more|arXiv (Cornell University)|Jul 4, 2020

Wildlife Ecology and Conservation参考文献 2被引用 6

一句话总结

该论文提出了一种端到端可微分的Fisher向量编码（FVE）层，将通过在线EM算法估计的高斯混合模型（GMM）集成到卷积神经网络（CNN）中，用于细粒度鸟类识别。通过联合学习GMM参数和网络权重，该方法生成了对部件顺序和缺失部件具有鲁棒性的固定长度表征，实现了在CUB-200-2011（91.1%）、NA-Birds（90.3%）和Birdsnap（84.9%）数据集上的最先进准确率。

ABSTRACT

Part-based approaches for fine-grained recognition do not show the expected performance gain over global methods, although explicitly focusing on small details that are relevant for distinguishing highly similar classes. We assume that part-based methods suffer from a missing representation of local features, which is invariant to the order of parts and can handle a varying number of visible parts appropriately. The order of parts is artificial and often only given by ground-truth annotations, whereas viewpoint variations and occlusions result in not observable parts. Therefore, we propose integrating a Fisher vector encoding of part features into convolutional neural networks. The parameters for this encoding are estimated by an online EM algorithm jointly with those of the neural network and are more precise than the estimates of previous works. Our approach improves state-of-the-art accuracies for three bird species classification datasets.

研究动机与目标

• 为解决基于部件的方法在细粒度识别中的局限性，尽管聚焦于判别性局部细节，但性能仍往往不佳。
• 克服由于遮挡、视角变化或无监督检测导致的部件数量可变、无序时缺乏鲁棒且不变的表征问题。
• 通过在线EM算法实现CNN特征提取器与Fisher向量编码参数的端到端训练。
• 相比基于梯度的方法，提升高斯混合模型（GMM）参数估计的精度，以用于FVE。
• 在无需依赖真实部件标注的情况下，实现在标准细粒度鸟类分类基准上的最先进性能。

提出的方法

• 引入一种可微分的FVE层，利用高斯混合模型（GMM）将任意数量的部件特征转换为固定长度向量。
• 通过在线EM算法估计GMM参数（均值、协方差、混合权重），在反向传播过程中以小批量方式更新参数。
• 通过端到端反向传播联合优化CNN主干网络与FVE参数，使网络能够自适应地调整特征以匹配编码需求。
• 使用GMM的软分配权重计算加权、归一化的欧氏距离，作为特征与混合成分之间拟合程度的度量。
• 在部件检测器（例如[24]中的方法）之后应用FVE层，对特征进行聚合后再进行最终分类。
• 采用损失函数，结合分类损失与EM目标，确保GMM能准确建模数据分布。

实验结果

研究问题

• RQ1 基于在线EM估计的可微分FVE层是否能超越标准全局方法或非可微分FVE方法，在基于部件的细粒度识别中实现性能提升？
• RQ2 通过在线EM实现GMM参数的端到端学习，是否能比基于梯度的优化方法带来更准确的部件特征聚类？
• RQ3 所提出的FVE层在多大程度上缓解了因遮挡或视角变化导致的部件缺失或无序所引起的性能下降？
• RQ4 在标准基准上，与现有FVE实现相比，该方法在GMM拟合度和分类准确率方面表现如何？
• RQ5 FVE层能否有效集成到CNN流程中，以提升细粒度鸟类物种数据集上的最先进性能？

主要发现

• 所提出的基于在线EM的FVE层在CUB-200-2011数据集上实现了91.1%的最先进准确率，相比之前方法的90.3%有所提升。
• 在NA-Birds数据集上，准确率提升至90.3%，高于此前工作的89.2%。
• 在Birdsnap数据集上，准确率达到84.9%，比之前最先进方法高出0.6%。
• 在线EM算法生成的GMM参数估计显著优于基于梯度的方法，表现为更低的加权归一化欧氏距离（例如，在ResNet50上为21.49 vs. 46.85）。
• 消融实验证实，FVE在部件特征聚合方面优于全局平均池化（GAP），在ResNet50上带来2.9%的准确率增益，在InceptionV3上带来2.3%的增益。
• FVE层在部件数量和顺序可变的情况下仍能保持鲁棒性能，消除了以往基于部件模型中常见的补全缺失部件或假设固定顺序的需求。