[논문 리뷰] ClusterFormer: Clustering As A Universal Visual Learner

James C. Liang, Yiming Cui외 4명|arXiv (Cornell University)|2023. 09. 22.

Advanced Neural Network Applications인용 수 7

한 줄 요약

ClusterFormer는 트랜스포머 아키텍처 내에서 순환형 크로스 어텐션 클러스터링과 특징 디스패칭을 활용하여 이미지 분류, 객체 검출, 세그멘테이션을 하나의 클러스터링 기반 프레임워크로 통합하는 유니버설 비전 모델을 제안한다. 다양한 클러스터링 정밀도 수준에서 설명 가능하고 이식 가능하며 계층적인 표현 학습을 가능하게 함으로써, 이미지 분류, 객체 검출, 세그멘테이션에서 최신 기술 수준의 성능을 달성한다. 특히 ImageNet-1K에서 83.41%의 top-1 정확도와 MS COCO에서 객체 검출 시 54.2%의 mAP를 기록한다.

ABSTRACT

This paper presents CLUSTERFORMER, a universal vision model that is based on the CLUSTERing paradigm with TransFORMER. It comprises two novel designs: 1. recurrent cross-attention clustering, which reformulates the cross-attention mechanism in Transformer and enables recursive updates of cluster centers to facilitate strong representation learning; and 2. feature dispatching, which uses the updated cluster centers to redistribute image features through similarity-based metrics, resulting in a transparent pipeline. This elegant design streamlines an explainable and transferable workflow, capable of tackling heterogeneous vision tasks (i.e., image classification, object detection, and image segmentation) with varying levels of clustering granularity (i.e., image-, box-, and pixel-level). Empirical results demonstrate that CLUSTERFORMER outperforms various well-known specialized architectures, achieving 83.41% top-1 acc. over ImageNet-1K for image classification, 54.2% and 47.0% mAP over MS COCO for object detection and instance segmentation, 52.4% mIoU over ADE20K for semantic segmentation, and 55.8% PQ over COCO Panoptic for panoptic segmentation. For its efficacy, we hope our work can catalyze a paradigm shift in universal models in computer vision.

연구 동기 및 목표

• 특수한 작업 아키텍처 없이 다양한 시각 작업에 일반화되는 유니버설 비전 모델을 개발하는 것.
• 시각적 이해를 계층적 클러스터링 과정으로 모델링하여 인간과 유사한 지각 인식을 모방하는 것.
• 클러스터 중심 전파를 통해 태스크 간 이식 가능하고 설명 가능한 표현 학습을 가능하게 하는 것.
• 클러스터링 정밀도 수준을 활용해 이미지 수준, 박스 수준, 픽셀 수준의 시각 작업을 하나의 일관된 프레임워크로 통합하는 것.
• 기존 통합 모델의 한계를 극복하기 위해 유사도 기반의 투명한 의사결정 파이프라인을 도입하는 것.

제안 방법

• 중심 차원을 따라 특징 표현을 사용하여 클러스터 중심을 반복적으로 갱신하는 방식으로 크로스 어텐션을 재구성한 순환형 크로스 어텐션 클러스터링을 도입한다.
• 업데이트된 클러스터 중심과의 유사도 기반으로 이미지 특징을 재분배하는 특징 디스패칭을 활용하여 투명하고 미분 가능한 파이프라인을 확보한다.
• 디코더에서 인코더의 클러스터 중심을 초기 쿼리로 사용하여 학습된 표현을 즉시 후행 작업으로 이식할 수 있도록 한다.
• 클러스터 할당과 표현을 정교화하기 위해 T=3의 반복 단계를 가진 다단계 반복 클러스터링 메커니즘을 적용한다.
• 디코더에서 학습 가능한 쿼리 초기화 전략을 활용하며, 인코더의 클러스터 중심을 작업별 쿼리 프로토타입으로 사용한다.
• 정확도와 파rameter 효율성을 최적화하기 위해 기본 헤드 차원이 32인 다중 헤드 어텐션 메커니즘을 활용한다.

Figure 1 : ClusterFormer is a clustering-based universal model, offering superior performance over various specialized architectures.

실험 결과

연구 질문

• RQ1 트랜스포머 아키텍처 내에서 클러스터링 기반 파라다임이 일관된 성능으로 다양한 시각 작업을 통합할 수 있는가?
• RQ2 크로스 어텐션을 통한 순환적 클러스터 중심 정밀화가 태스크 간 표현 학습에 어떻게 기여하는가?
• RQ3 유사도 기반 특징 디스패칭이 모델의 투명성과 성능에 얼마나 기여하는가?
• RQ4 사전 학습된 인코더의 클러스터 중심이 검출 및 세그멘테이션과 같은 후행 작업을 위한 디코더를 효과적으로 초기화할 수 있는가?
• RQ5 이질적 클러스터링 정밀도 수준(이미지, 박스, 픽셀 수준)이 모델의 적응성과 성능에 미치는 영향은 어떠한가?

주요 결과

• ImageNet-1K에서 ClusterFormer는 83.41%의 top-1 정확도를 기록했으며, 사전 학습 없이 학습할 경우 Swin Transformer보다 0.13–0.39% 높은 성능을 보였다.
• MS COCO에서 객체 검출 시 ClusterFormer는 54.2%의 mAP를 달성했으며, DINO와 Swin Transformer를 0.8–1.1% mAP 높게 기록했다.
• Instance 세그멘테이션에서 ClusterFormer는 MS COCO에서 47.0%의 mAP를 기록했으며, Mask2Former이 Swin Transformer를 기준으로 1.0–1.4% mAP 높은 성능을 보였다.
• ADE20K에서의 세그멘테이션에서는 ClusterFormer가 52.4%의 mIoU를 기록했으며, 기준 모델보다 0.6–1.3% mIoU 높은 성능을 보였다.
• COCO Panoptic에서의 팬옵티컬 세그멘테이션에서는 ClusterFormer가 55.8%의 PQ를 기록했으며, Mask2Former을 1.5–1.7% PQ 높게 기록했다.
• 제거 분석 결과, 순환형 크로스 어텐션 클러스터링은 코사인 유사도 기반 방법보다 2.52% 정확도 향상을, 일반 크로스 어텐션보다 1.64% 향상시키는 것으로 확인되었다.

Figure 2 : (a) Overall pipeline of ClusterFormer . (b) Each Recurrent Cross-Attention Clustering layer carries out $T$ iterations of cross-attention clustering ( E -step) and center updating ( M -step) (see Eq. 3 ). (c) The feature dispatching redistributes the feature embeddings on the top of updat