[논문 리뷰] CF-ViT: A General Coarse-to-Fine Method for Vision Transformer

Mengzhao Chen, Mingbao Lin외 5명|arXiv (Cornell University)|2022. 03. 08.

CCD and CMOS Imaging Sensors인용 수 7

한 줄 요약

CF-ViT는 비전 트랜스포머를 위한 일반적인 군집에서 세밀로 나아가는 추론 프레임워크를 제안하며, 먼저 군집(patch) 크기 7×7로 이미지를 분류하고, 불확실한 예측에 대해서만 세밀한 패치 분할(14×14)을 통해 정밀도를 높임으로써 계산 비용을 절감한다. 이는 성능 저하 없이 LV-ViT 대비 53% FLOPs 절감과 2.01배의 처리량 향상을 달성하며, 클래스 어텐션을 활용해 적응적으로 정밀도를 높일 수 있는 정보가 많은 영역을 식별한다.

ABSTRACT

Vision Transformers (ViT) have made many breakthroughs in computer vision tasks. However, considerable redundancy arises in the spatial dimension of an input image, leading to massive computational costs. Therefore, We propose a coarse-to-fine vision transformer (CF-ViT) to relieve computational burden while retaining performance in this paper. Our proposed CF-ViT is motivated by two important observations in modern ViT models: (1) The coarse-grained patch splitting can locate informative regions of an input image. (2) Most images can be well recognized by a ViT model in a small-length token sequence. Therefore, our CF-ViT implements network inference in a two-stage manner. At coarse inference stage, an input image is split into a small-length patch sequence for a computationally economical classification. If not well recognized, the informative patches are identified and further re-split in a fine-grained granularity. Extensive experiments demonstrate the efficacy of our CF-ViT. For example, without any compromise on performance, CF-ViT reduces 53% FLOPs of LV-ViT, and also achieves 2.01x throughput.

연구 동기 및 목표

• 균일한 고해상도 패치 처리로 인한 비전 트랜스포머의 계산 중복을 줄이기 위해.
• 대부분의 이미지가 군집 패치로 정확히 분류될 수 있음을 식별하여 계산을 절약하기 위해.
• 어려운 이미지의 정보가 많은 영역에 대해서만 세밀한 패치를 사용해 정밀도를 높이기 위해.
• 다양한 비전 트랜스포머 아키텍처에 적용 가능한 일반적이고 입력에 적응하는 추론 전략을 개발하기 위해.

제안 방법

• 모델은 두 단계 추론 파이프라인을 사용한다: 7×7 패치로 구성된 군집 단계와 불확실한 샘플에 대해 14×14 패치로 구성된 세밀한 단계.
• 마지막 인코더의 클래스 어텐션을 활용해 정밀도 향상을 위해 분할이 필요한 정보가 많은 패치를 식별한다.
• 신뢰도 임계값 η를 통해 세밀한 단계로 진행할지 여부를 결정함으로써 적응적 계산을 가능하게 한다.
• 교수 학습 손실을 통해 교차 엔트로피와 KL 발산을 조합하여 군집 및 세밀한 예측 간의 일치를 유도한다.
• 모델은 정보가 많은 영역에 대해서만 동적으로 분할하여 전체 이미지 재처리를 피한다.
• 손실 함수를 통해 전체적으로 엔드 투 엔드로 훈련되며, 군집 예측이 세밀한 출력과 일치하도록 유도한다.

실험 결과

연구 질문

• RQ1 7×7의 군집 패치 분할이 효율적인 비전 트랜스포머 추론을 위해 이미지 내 정보가 많은 영역을 효과적으로 식별할 수 있는가?
• RQ2 작은 수의 군집 토큰으로도 대부분의 이미지에서 높은 정확도를 달성할 수 있는가? 이는 총 FLOPs 절감에 기여하는가?
• RQ3 정보가 많은 패치에 대해서만 정밀도를 높이는 적응적 정밀도 향상 방식이 균일한 세밀한 패치 처리 방식보다 효율성과 정확도 측면에서 뛰어나지 않는가?
• RQ4 신뢰도 임계값 η의 선택이 정확도와 계산 비용 간의 상호 보완적 관계에 어떤 영향을 미치는가?

주요 결과

• CF-ViT는 성능 저하 없이 LV-ViT 대비 53% FLOPs 절감과 2.01배의 처리량 향상을 달성한다.
• 7×7 패치만을 사용할 경우 DeiT-S는 상위 1위 정확도 73.2%를 기록하여 대부분의 이미지가 '쉬운' 이미지이며 군집적으로 분류될 수 있음을 시사한다.
• 모델은 군집 단계에서 76.8%의 이미지를 정확히 분류하며, 나머지 23.2%는 세밀한 정밀도 향상 필요.
• 제거 실험 결과, 정보가 많은 영역 식별이 핵심임을 입증함 — 이를 생략할 경우 전체 이미지 재분할로 인해 FLOPs가 급격히 증가한다.
• 손실 및 어텐션 가중치 구성 요소에서 α = 0.5와 β = 0.99 조합이 정확도와 효율성 간 최적의 균형을 이룬다.
• CE+KL 손실 함수는 CE+CE보다 성능이 뛰어나며, 세밀한 단계의 정확도 저하를 0.5% 감소시키고 군집 단계 성능은 약간 향상시킨다.