[论文解读] Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning

Chongjian Ge, Youwei Liang+4 more|arXiv (Cornell University)|Oct 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 6

一句话总结

本文提出CARE，一种新颖的框架，通过使用并行的Transformer分支来引导CNN编码器训练，从而在自监督视觉表征学习中重新激活CNN注意力机制。通过利用Transformer提取的视觉注意力来监督CNN特征，CARE在图像分类、目标检测和语义分割基准上实现了最先进性能，且在下游任务中计算开销极低。

ABSTRACT

Studies on self-supervised visual representation learning (SSL) improve encoder backbones to discriminate training samples without labels. While CNN encoders via SSL achieve comparable recognition performance to those via supervised learning, their network attention is under-explored for further improvement. Motivated by the transformers that explore visual attention effectively in recognition scenarios, we propose a CNN Attention REvitalization (CARE) framework to train attentive CNN encoders guided by transformers in SSL. The proposed CARE framework consists of a CNN stream (C-stream) and a transformer stream (T-stream), where each stream contains two branches. C-stream follows an existing SSL framework with two CNN encoders, two projectors, and a predictor. T-stream contains two transformers, two projectors, and a predictor. T-stream connects to CNN encoders and is in parallel to the remaining C-Stream. During training, we perform SSL in both streams simultaneously and use the T-stream output to supervise C-stream. The features from CNN encoders are modulated in T-stream for visual attention enhancement and become suitable for the SSL scenario. We use these modulated features to supervise C-stream for learning attentive CNN encoders. To this end, we revitalize CNN attention by using transformers as guidance. Experiments on several standard visual recognition benchmarks, including image classification, object detection, and semantic segmentation, show that the proposed CARE framework improves CNN encoder backbones to the state-of-the-art performance.

研究动机与目标

• 解决自监督视觉表征学习中CNN编码器内视觉注意力机制研究不足的问题。
• 在不改变核心自监督学习（SSL）框架的前提下，利用视觉Transformer的注意力机制提升CNN编码器性能。
• 开发一种训练范式，使CNN能够学习到与Transformer相当的注意力特征，同时保持较低的推理成本。
• 验证基于Transformer引导的注意力监督可有效提升CNN在下游视觉识别任务中的特征质量。

提出的方法

• CARE采用双流架构：一个CNN流（C流）和一个并行的Transformer流（T流），两者均遵循对比学习SSL流程，包含编码器、投影头和预测头。
• T流将CNN编码器输出的特征作为输入，并通过多头自注意力机制生成更优的注意力表征。
• 通过注意力感知特征上的对比损失，使用T流输出来监督C流，促使CNN学习到类似的注意力表征。
• 采用原始SSL对比损失与注意力监督损失（超参数λ）的加权组合，联合优化两个流。
• T流采用可学习的相对位置编码，以提升注意力学习效果，优于固定正弦编码或无位置编码。
• 该框架采用并行训练设计，两个流同时更新，确保对CNN编码器实现有效的注意力引导。

实验结果

研究问题

• RQ1 视觉Transformer所学习的视觉注意力能否有效迁移至自监督学习中的CNN编码器特征，以实现性能提升？
• RQ2 使用并行Transformer流监督CNN训练，是否能获得优于标准SSL训练的特征表征？
• RQ3 位置编码的选择以及Transformer块的数量如何影响受监督CNN编码器的性能？
• RQ4 在CARE框架中，对比学习SSL损失与注意力监督损失之间的最优平衡点是什么？

主要发现

• 在使用ResNet-50并训练100个周期的情况下，CARE在ImageNet上的top-1准确率达到72.06%，优于标准SSL方法。
• 当注意力损失权重λ = 100时性能最佳，相比λ = 0（70.52%）提升了1.54%。
• 在T流中使用五个Transformer块（n = 5）可达到最优性能，而增加至六个块则因损失失衡导致性能下降。
• T流中采用可学习相对位置编码可实现72.06%的top-1准确率，显著优于固定正弦编码（66.68%）和无编码（69.49%）。
• 并行设计的T流性能优于串行训练（72.02% vs. 69.32%），表明联合优化对实现有效注意力引导至关重要。
• 在下游任务中，CARE将ResNet-50的性能提升至最先进水平，目标检测（COCO AP: 57.2）和语义分割（PASCAL VOC mIoU: 38.8）均达到SOTA。