[论文解读] Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition

Chaojian Yu, Xinyi Zhao+3 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Neural Network Applications参考文献 22被引用 17

一句话总结

本文提出层级双线性池化（HBP），一种新颖的框架，通过跨层双线性池化捕捉层间部件特征交互，并分层整合多种此类特征，从而提升细粒度视觉识别性能。该方法在CUB-200-2011（93.7%）、Stanford Cars（93.7%）和FGVC-Aircraft（90.3%）数据集上实现了最先进准确率，且无需部件标注，通过特征交互的相互增强与判别性学习实现了卓越性能。

ABSTRACT

Fine-grained visual recognition is challenging because it highly relies on the modeling of various semantic parts and fine-grained feature learning. Bilinear pooling based models have been shown to be effective at fine-grained recognition, while most previous approaches neglect the fact that inter-layer part feature interaction and fine-grained feature learning are mutually correlated and can reinforce each other. In this paper, we present a novel model to address these issues. First, a cross-layer bilinear pooling approach is proposed to capture the inter-layer part feature relations, which results in superior performance compared with other bilinear pooling based approaches. Second, we propose a novel hierarchical bilinear pooling framework to integrate multiple cross-layer bilinear features to enhance their representation capability. Our formulation is intuitive, efficient and achieves state-of-the-art results on the widely used fine-grained recognition datasets.

研究动机与目标

• 解决现有双线性池化方法仅依赖最终卷积层的局限，避免遗漏对细粒度识别至关重要的判别性中间特征。
• 通过设计一种框架，使层间特征交互与细粒度特征学习相互增强，克服先前方法中两者相互忽视的问题。
• 开发一个端到端可训练的模型，无需边界框或部件标注，从而实现真实世界细粒度识别任务中的实用化部署。
• 通过分层融合策略整合多个跨层双线性特征，利用中间层的互补信息，提升表征能力。

提出的方法

• 提出一种跨层双线性池化机制，建模来自不同卷积层（如relu5_1、relu5_2、relu5_3）的特征图之间的交互，捕捉分层部件属性，且不引入额外参数。
• 使用投影层（project5_1、project5_2、project5_3）将多层特征投影到共享空间，实现跨层部件特征之间的结构化交互。
• 设计一种分层双线性池化框架，在最终分类器之前连接多个跨层双线性特征，通过互补特征融合增强判别性表征。
• 使用标准反向传播端到端训练整个网络，无需部件级别标注或后处理，确保可扩展性与实用性。
• 借鉴人类视觉系统由粗到精的感知模式，即浅层检测一般物体区域，深层则聚焦于判别性部件。
• 对连接后的双线性特征应用全局平均池化，生成固定大小的表征用于分类，保持计算效率。

实验结果

研究问题

• RQ1 跨多个卷积层的层间特征交互是否能超越单层双线性池化，在细粒度视觉识别中带来性能提升？
• RQ2 通过分层框架整合多个跨层双线性特征，是否能产生优于单个或非分层融合的判别性表征？
• RQ3 一个不依赖部件标注的模型，是否仍能通过跨层交互隐式建模语义部件，实现最先进性能？
• RQ4 在多种细粒度数据集上，该方法与现有双线性池化方法及基于部件的模型相比，在准确率与鲁棒性方面表现如何？

主要发现

• 所提出的层级双线性池化（HBP）模型在CUB-200-2011数据集上达到93.7%的top-1准确率，超越所有先前方法，包括基于标注与部件学习的模型。
• 在Stanford Cars数据集上，HBP达到93.7%的准确率，较之前最佳方法（MA-CNN）高出0.9个百分点。
• 在FGVC-Aircraft数据集上，HBP实现90.3%的准确率，显著超过次佳方法（BoostCNN）1.8个百分点。
• 定性可视化显示，模型聚焦于高度判别性部件（如鸟喙、机翼与垂尾稳定器），同时抑制背景杂波，与人类由粗到精的感知模式一致。
• 性能提升归因于通过跨层双线性特征的分层融合，实现了层间特征交互与细粒度特征学习之间的相互增强。
• 该方法具有鲁棒性与泛化能力，在三个不同细粒度数据集上均实现一致提升，且无需任何部件级别标注。