[论文解读] Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained Image Recognition

Heliang Zheng, Jianlong Fu+2 more|arXiv (Cornell University)|Mar 14, 2019

Advanced Neural Network Applications参考文献 37被引用 38

一句话总结

本论文提出 Trilinear Attention Sampling Network (TASN) 用于细粒度图像识别，通过教师–学生蒸馏方法从数百个部件候选中学习细粒度细节，在 CUB-200-2011、Stanford Cars 和 iNaturalist 2017 上实现了最先进的结果。

ABSTRACT

Learning subtle yet discriminative features (e.g., beak and eyes for a bird) plays a significant role in fine-grained image recognition. Existing attention-based approaches localize and amplify significant parts to learn fine-grained details, which often suffer from a limited number of parts and heavy computational cost. In this paper, we propose to learn such fine-grained features from hundreds of part proposals by Trilinear Attention Sampling Network (TASN) in an efficient teacher-student manner. Specifically, TASN consists of 1) a trilinear attention module, which generates attention maps by modeling the inter-channel relationships, 2) an attention-based sampler which highlights attended parts with high resolution, and 3) a feature distiller, which distills part features into a global one by weight sharing and feature preserving strategies. Extensive experiments verify that TASN yields the best performance under the same settings with the most competitive approaches, in iNaturalist-2017, CUB-Bird, and Stanford-Cars datasets.

研究动机与目标

• 在受限的预定义部件之外，激励学习具有区分性的细粒度细节（如喙、眼睛）。
• 开发一种可扩展的方法，在没有部件标注的情况下提取数百个部件候选。
• 提出一个高效的教师–学生框架，通过软目标交叉熵将大量部件特征蒸馏到一个主干网络中。
• 在主要的 FGVC 数据集上展示有效性，同时保持竞争力的效率。

提出的方法

• 引入一个三线性注意力模块，从卷积特征中生成跨通道的注意力 maps.
• 开发一个基于注意力的采样器，创建结构保留和细节保留的图像，以捕捉全局和部件特定的细节.
• 提出一个特征蒸馏器，其中部件网络（教师）通过软目标交叉熵引导主网（学生）将数百个部件细节融合到单一网络中.
• 采用知识蒸馏，将细粒度细节从部件网络转移到主网，实现高效的单流推理。

实验结果

研究问题

• RQ1 在没有显式部件标注的情况下，从数百个部件候选中学习能否提升细粒度识别？
• RQ2 三线性注意力在生成鲁棒的高分辨率部件 maps 以采样细粒度细节方面有多有效？
• RQ3 所提出的教师–学生蒸馏方案在不损害性能的前提下，是否能高效地将大量部件特征整合到单一主干网络？
• RQ4 相较于最先进的基线，TASN 在标准 FGVC 数据集上的提升有哪些？

主要发现

• 在可比的骨干网络和单流推理条件下，TASN 在 CUB-200-2011、Stanford Cars 和 iNaturalist 2017 上对基线取得显著的准确率提升。
• 在 CUB-200-2011 使用 ResNet-50、输入为 224 时，TASN 达到 87.0% 的准确率（对比基线 ResNet-50 的 81.6%）。
• 在 ResNet-50、输入为 448 时，TASN 达到 87.0%（对比更高分辨率基线的 85.6%），并优于基于 SSN- 和 DT-RAM 的方法。
• 在 Stanford Cars，使用 1x VGG-19 的 TASN 达到 92.4%（对比基线 88.6%），集成后达到 93.2%。
• 在 iNaturalist 2017，TASN 达到 68.2% 的准确率，超过了 ResNet（59.6%）和 SSN（65.2%）在大多数超类上的表现。
• 总体而言，单流 TASN 的表现超越了多流的基于部件的模型，并在与最近的二阶特征方法结合时保持竞争力。