[论文解读] ClusterFormer: Clustering As A Universal Visual Learner

James C. Liang, Yiming Cui+4 more|arXiv (Cornell University)|Sep 22, 2023

Advanced Neural Network Applications被引用 7

一句话总结

ClusterFormer 提出了一种通用视觉模型，通过在 Transformer 架构中引入循环交叉注意力聚类与特征分发机制，将图像分类、目标检测和语义分割统一于基于聚类的单一框架下。该方法通过实现多层次聚类粒度下的可解释性、可迁移性和分层表征学习，取得了最先进性能，包括在 ImageNet-1K 上达到 83.41% 的 top-1 准确率，以及在 MS COCO 上目标检测任务中达到 54.2% 的 mAP。

ABSTRACT

This paper presents CLUSTERFORMER, a universal vision model that is based on the CLUSTERing paradigm with TransFORMER. It comprises two novel designs: 1. recurrent cross-attention clustering, which reformulates the cross-attention mechanism in Transformer and enables recursive updates of cluster centers to facilitate strong representation learning; and 2. feature dispatching, which uses the updated cluster centers to redistribute image features through similarity-based metrics, resulting in a transparent pipeline. This elegant design streamlines an explainable and transferable workflow, capable of tackling heterogeneous vision tasks (i.e., image classification, object detection, and image segmentation) with varying levels of clustering granularity (i.e., image-, box-, and pixel-level). Empirical results demonstrate that CLUSTERFORMER outperforms various well-known specialized architectures, achieving 83.41% top-1 acc. over ImageNet-1K for image classification, 54.2% and 47.0% mAP over MS COCO for object detection and instance segmentation, 52.4% mIoU over ADE20K for semantic segmentation, and 55.8% PQ over COCO Panoptic for panoptic segmentation. For its efficacy, we hope our work can catalyze a paradigm shift in universal models in computer vision.

研究动机与目标

• 开发一种无需任务特定架构设计即可在多样化视觉任务中泛化的通用视觉模型。
• 通过将视觉理解建模为分层聚类过程，模拟人类感知认知机制。
• 通过聚类中心在任务间的传播，实现可迁移且可解释的表征学习。
• 利用聚类粒度统一图像级、边界框级和像素级视觉任务，构建单一连贯框架。
• 通过引入透明的、基于相似性的决策流程，克服现有统一模型的局限性。

提出的方法

• 提出循环交叉注意力聚类，将交叉注意力重新表述为沿中心维度递归更新聚类中心的机制，利用特征表示进行优化。
• 采用特征分发机制，根据与更新后聚类中心的相似性重新分配图像特征，确保流程透明且可微。
• 将编码器中的聚类中心用作解码器的初始查询，实现学习表征向下游任务的直接迁移。
• 采用多阶段、迭代式聚类机制，设置 T=3 次递归步骤，以细化聚类分配与表征。
• 在解码器中采用可学习的查询初始化策略，其中编码器的聚类中心作为任务特定的查询原型。
• 采用多头注意力机制，头维度默认为 32，兼顾准确率与参数效率。

Figure 1 : ClusterFormer is a clustering-based universal model, offering superior performance over various specialized architectures.

实验结果

研究问题

• RQ1 在 Transformer 架构中采用基于聚类的范式，能否在保持一致性能的前提下统一多样化视觉任务？
• RQ2 通过交叉注意力实现的循环聚类中心优化，如何提升跨任务的表征学习能力？
• RQ3 基于相似性的特征分发在多大程度上增强模型的透明度与性能？
• RQ4 预训练编码器中的聚类中心能否有效初始化下游任务（如检测与分割）的解码器？
• RQ5 分层聚类粒度（图像级、边界框级、像素级）在多大程度上影响模型的适应性与性能？

主要发现

• 在 ImageNet-1K 上，ClusterFormer 达到 83.41% 的 top-1 准确率，当从头训练时，优于 Swin Transformer 0.13–0.39%。
• 在 MS COCO 目标检测任务中，ClusterFormer 达到 54.2% 的 mAP，优于 DINO 和 Swin Transformer 0.8–1.1% mAP。
• 在实例分割任务中，ClusterFormer 在 MS COCO 上达到 47.0% 的 mAP，优于 Mask2Former 与 Swin Transformer 1.0–1.4% mAP。
• 在 ADE20K 语义分割任务中，ClusterFormer 达到 52.4% 的 mIoU，优于基线模型 0.6–1.3% mIoU。
• 在 COCO Panoptic 实例分割任务中，ClusterFormer 达到 55.8% 的 PQ，优于 Mask2Former 1.5–1.7% PQ。
• 消融实验表明，与余弦相似性相比，循环交叉注意力聚类可提升准确率 2.52%；与普通交叉注意力相比，可提升 1.64%。

Figure 2 : (a) Overall pipeline of ClusterFormer . (b) Each Recurrent Cross-Attention Clustering layer carries out $T$ iterations of cross-attention clustering ( E -step) and center updating ( M -step) (see Eq. 3 ). (c) The feature dispatching redistributes the feature embeddings on the top of updat