[论文解读] Attention Convolutional Binary Neural Tree for Fine-Grained Visual Categorization

Ruyi Ji, Longyin Wen+6 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Neural Network Applications参考文献 63被引用 14

一句话总结

本文提出了一种用于弱监督细粒度视觉分类的注意力卷积二叉神经树（ACNet），通过采用固定深度的二叉树结构并结合注意力增强的卷积路由机制，实现从粗到细的层次化特征学习。该方法通过在路由模块中结合ASPP的多尺度特征提取与全局上下文建模，在CUB-200-2011、Stanford Cars和Aircraft数据集上实现了最先进性能。

ABSTRACT

Fine-grained visual categorization (FGVC) is an important but challenging task due to high intra-class variances and low inter-class variances caused by deformation, occlusion, illumination, etc. An attention convolutional binary neural tree architecture is presented to address those problems for weakly supervised FGVC. Specifically, we incorporate convolutional operations along edges of the tree structure, and use the routing functions in each node to determine the root-to-leaf computational paths within the tree. The final decision is computed as the summation of the predictions from leaf nodes. The deep convolutional operations learn to capture the representations of objects, and the tree structure characterizes the coarse-to-fine hierarchical feature learning process. In addition, we use the attention transformer module to enforce the network to capture discriminative features. The negative log-likelihood loss is used to train the entire network in an end-to-end fashion by SGD with back-propagation. Several experiments on the CUB-200-2011, Stanford Cars and Aircraft datasets demonstrate that the proposed method performs favorably against the state-of-the-arts.

研究动机与目标

• 解决由于遮挡、光照变化和视角差异导致的细粒度视觉分类中类内方差高、类间方差低的挑战。
• 开发一种弱监督方法，避免依赖昂贵的部件级标注。
• 通过将网络结构化为带有注意力引导路由的二叉树，实现层次化、判别性特征学习。
• 通过在树架构中集成注意力Transformer和多尺度上下文建模，提升模型性能。

提出的方法

• 构建一个固定深度的二叉树结构，其中每个节点应用路由函数以确定从根到叶的计算路径。
• 在树的边沿应用卷积操作，从粗到细地学习层次化特征。
• 在每个节点集成一个注意力Transformer模块，以突出判别性局部区域并增强特征表示。
• 在路由模块中使用全局平均池化（GAP）和全局上下文块，聚合上下文信息并提高决策鲁棒性。
• 在注意力Transformer中引入ASPP（空洞空间金字塔池化）模块，通过空洞卷积捕捉多尺度上下文。
• 使用随机梯度下降端到端训练整个网络，采用负对数似然损失，并通过最大投票法融合所有叶节点的预测结果。

实验结果

研究问题

• RQ1 在无需部件标注的情况下，带有注意力引导路由的固定深度二叉神经树是否能提升细粒度视觉分类中的特征判别能力？
• RQ2 注意力Transformer与ASPP模块的集成对细粒度数据集性能有何影响？
• RQ3 非对称树架构是否在捕捉多样化感受野并提升准确率方面优于对称设计？
• RQ4 全局上下文建模以及池化策略（GAP与GMP）在多大程度上影响路由模块的有效性？
• RQ5 在树的各层级上进行从粗到细的层次化特征学习，如何增强模型在细粒度识别任务中的性能？

主要发现

• 所提出的ACNet在CUB-200-2011数据集上实现了87.8%的top-1准确率，采用非对称树架构，相比对称版本高出1.6%。
• 与仅使用路由模块的基线相比，集成注意力Transformer模块使top-1准确率平均提升0.4%。
• 在注意力Transformer中用ASPP模块替代单一卷积层，平均top-1准确率提升0.5%。
• 从路由模块中移除全局上下文块后，top-1准确率平均下降0.275%，表明其在上下文整合中的重要性。
• 在路由模块中使用全局平均池化（GAP）而非全局最大池化（GMP）导致准确率下降0.6%，表明GAP在保留上下文信息方面更具优势。
• 可视化结果表明，不同叶节点聚焦于不同的判别性区域（如头部、翅膀和尾部），实现了分支间的互补性特征学习。