Skip to main content
QUICK REVIEW

[论文解读] Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning

Shaofeng Zhang, Feng Zhu|arXiv (Cornell University)|Jun 23, 2023
Domain Adaptation and Few-Shot LearningComputer Science被引用 8
一句话总结

ADCLR 引入跨视图查询基础的补丁级对比,无需补丁对应即可学习到准确的全局和密集局部表示,提升分类及密集下游任务表现。

ABSTRACT

We propose ADCLR: A ccurate and D ense Contrastive Representation Learning, a novel self-supervised learning framework for learning accurate and dense vision representation. To extract spatial-sensitive information, ADCLR introduces query patches for contrasting in addition with global contrasting. Compared with previous dense contrasting methods, ADCLR mainly enjoys three merits: i) achieving both global-discriminative and spatial-sensitive representation, ii) model-efficient (no extra parameters in addition to the global contrasting baseline), and iii) correspondence-free and thus simpler to implement. Our approach achieves new state-of-the-art performance for contrastive methods. On classification tasks, for ViT-S, ADCLR achieves 77.5% top-1 accuracy on ImageNet with linear probing, outperforming our baseline (DINO) without our devised techniques as plug-in, by 0.5%. For ViT-B, ADCLR achieves 79.8%, 84.0% accuracy on ImageNet by linear probing and finetune, outperforming iBOT by 0.3%, 0.2% accuracy. For dense tasks, on MS-COCO, ADCLR achieves significant improvements of 44.3% AP on object detection, 39.7% AP on instance segmentation, outperforming previous SOTA method SelfPatch by 2.2% and 1.2%, respectively. On ADE20K, ADCLR outperforms SelfPatch by 1.0% mIoU, 1.2% mAcc on the segme

研究动机与目标

  • 证明在全局、无补丁对应的对比学习之外,仍需密集并具空间感知的自监督表示的必要性。
  • 提出一个插件化、无对应关系框架,联合学习全局与局部/补丁级特征,利用查询补丁。
  • 通过避免增加额外参数并维持单向跨注意力来保障训练效率,防止坍缩。
  • 在 ImageNet 分类、MS-COCO 检测/分割、ADE20K 语义分割上展示最先进的结果。

提出的方法

  • 再增加两个增强视图并生成 Q 查询裁剪以提取局部信息。
  • 在 ViT 主干上将查询补丁与原始补丁及 [CLS] 令牌一起使用单向跨注意力进行对齐(RP->RP,{RP,QP_i}->QP_i,QP_i 不对其他 QP_j 进行关注)。
  • 计算联合损失:L_ADCLR = L_global + (lambda/Q) * sum_i L_local,其中 L_global 匹配两个视图之间的 [CLS] 表示,L_local 匹配局部查询补丁的表示。
  • 可选地像 iBOT 一样加入掩码图像建模(MIM)目标以提升准确性。
  • 将 ADCLR 视为已有全局 SSL 基线(例如 DINO、iBOT)的插件,以提升性能。

实验结果

研究问题

  • RQ1跨视图基于查询的补丁级对比是否能够在没有显式补丁对应的情况下得到密集、具空间感知的表示?
  • RQ2单向跨注意力机制是否能够防止坍缩并提升全局与局部任务的下游性能?
  • RQ3将 ADCLR 作为插件用于现有 SSL 基线时,在标准基准(ImageNet 分类、MS-COCO 检测/分割、ADE20K 分割)上的增益?
  • RQ4全局与局部损失项如何平衡以同时优化粗粒度分类与细粒度定位?

主要发现

  • 在 ImageNet-1K 上,使用 ViT-S 的 ADCLR 在线性探测下达到 77.5% 的 top-1 准确率,超出基线 DINO 0.5%。
  • 在 ViT-B 上,ADCLR 在 ImageNet-1K 上实现 79.8% 的线性和 84.0% 的微调准确率,分别超越 iBOT 0.3% 与 0.2%。
  • 在密集任务中,经过 200–300 次预训练阶段,ADCLR 在 MS-COCO 的边界框检测 AP 为 44.3、实例分割 AP 为 39.7,分别比 SelfPatch 高出 2.2% 和 1.2%。
  • 在 ADE20K 语义分割上,ADCLR 将 mIoU 提升约 1.0%、mAcc 提升约 1.2% 相对于 SelfPatch。
  • 迁移结果显示在小规模数据集(如 iNaturalist18/19、Flowers、Cars)上表现强劲,ADCLR 达到与 DINO/iBOT 基线相当或超越的准确率。
  • 消融研究证实平衡参数 lambda、查询裁剪数量 Q 以及单向跨注意力对于稳健下游性能的重要性。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。