[논문 리뷰] A survey on efficient vision transformers: algorithms, techniques, and performance benchmarking

Lorenzo Papa, Paolo Russo외 2명|arXiv (Cornell University)|2023. 09. 05.

CCD and CMOS Imaging Sensors참고 문헌 81인용 수 4

한 줄 요약

이 종합적 리뷰는 비전 트랜스포머(ViTs)의 네 가지 핵심 효율 전략—콤���트 아키텍처, 프루닝, 지식 증류, 양자화—에 대한 체계적인 분석을 제안하며, 모델 효율성을 공정하게 평가하기 위해 새로운 지표인 효율 오차율(EER)을 도입한다. 연구는 프루닝과 지식 증류를 통합한 동적비트(DynamicViT)와 같은 하이브리드 전략이 성능과 계산 비용 사이에서 가장 우수한 균형을 이룬다는 점을 밝혀낸다.

ABSTRACT

Vision Transformer (ViT) architectures are becoming increasingly popular and widely employed to tackle computer vision applications. Their main feature is the capacity to extract global information through the self-attention mechanism, outperforming earlier convolutional neural networks. However, ViT deployment and performance have grown steadily with their size, number of trainable parameters, and operations. Furthermore, self-attention's computational and memory cost quadratically increases with the image resolution. Generally speaking, it is challenging to employ these architectures in real-world applications due to many hardware and environmental restrictions, such as processing and computational capabilities. Therefore, this survey investigates the most efficient methodologies to ensure sub-optimal estimation performances. More in detail, four efficient categories will be analyzed: compact architecture, pruning, knowledge distillation, and quantization strategies. Moreover, a new metric called Efficient Error Rate has been introduced in order to normalize and compare models' features that affect hardware devices at inference time, such as the number of parameters, bits, FLOPs, and model size. Summarizing, this paper firstly mathematically defines the strategies used to make Vision Transformer efficient, describes and discusses state-of-the-art methodologies, and analyzes their performances over different application scenarios. Toward the end of this paper, we also discuss open challenges and promising research directions.

연구 동기 및 목표

• 비전 트랜스포머(ViTs)에 대한 네 가지 주요 효율 전략—콤팩트 아키텍처, 프루닝, 지식 증류, 양자화—를 체계적으로 분석하고 비교하기.
• 이미지 해상도가 증가함에 따라 자기주의 주의(self-attention) 계산이 제곱적으로 증가함에 따라 계산 비용이 높은 ViTs를 자원 제약이 있는 장치에 구현하는 데 도전하는 문제를 해결하기.
• FLOPs, 파라미터 수, 모델 크기 등의 하드웨어 제약 조건을 고려하여 다양한 모델 간의 효율성을 정규화하고 비교할 수 있도록 새로운 평가 지표인 효율 오차율(EER)을 도입하기.
• 일반적인 컴퓨터 비전 응용 분야에서 모델 정확도와 추론 효율성 사이의 최적 균형을 규명하기.
• 향후 연구를 위한 일반화 가능성, 평가 지표, 다중 전략 융합 기술에 대한 열린 과제를 부각하기.

제안 방법

• 콤팩트 아키텍처(CA), 프루닝(P), 지식 증류(KD), 양자화(Q)의 네 가지 주요 효율 기법을 분류하고 수학적 공식을 통해 핵심 메커니즘을 정형화하기.
• 효율 오차율(EER) 지표를 도입하여, FLOPs, 파라미터 수, 비트 수, 모델 크기를 고려하면서도 비효율 기준 모델 대비 오차율을 정규화함으로써 다양한 모델 간의 효율성을 공정하게 비교할 수 있도록 하기.
• 각 카테고리의 최신 기법을 검토하고, 그들의 강점, 약점, 아키텍처적 혁신을 분석하기.
• 표준 데이터셋(예: ImageNet)을 기반으로 Top-1 정확도, FLOPs, 파라미터 수 등의 표준화된 지표를 사용해 모델을 벤치마킹하기.
• 분류, 세그멘테이션, 깊이 추정 등 다양한 응용 시나리오에서 모델 성능을 평가하기.
• 프루닝과 지식 증류와 같은 기법을 융합하여 정확도 손실를 최소화하면서 효율성을 극대화하는 다중 전략 융합 프레임워크를 제안하며, 이는 동적비트(DynamicViT)를 사례로 제시한다.

Figure 1: Graphical overview of the vanilla self-attention and the multi-head self-attention blocks. The $\mathcal{O}(n^{2})$ in the softmax dot-product self-attention highlights the quadratic cost of each operation.

실험 결과

연구 질문

• RQ1 콤팩트 아키텍처, 프루닝, 지식 증류, 또는 양자화 중에서 어느 전략이 모델 정확도와 계산 효율성 사이에서 가장 우수한 균형을 이룰 수 있는가?
• RQ2 다양한 하드웨어 포트폴리오와 성능 특성을 가진 모델을 공정하게 비교하기 위해 통합된 지표는 어떻게 설계할 수 있는가?
• RQ3 다양한 효율 기법을 융합한 하이브리드 전략이 단일 기법 대비 얼마나 뛰어난 성능을 보이는가?
• RQ4 현재 평가 프로토콜은 추론 지연과 메모리 사용량과 같은 실세계 구현 제약 조건을 얼마나 잘 반영하고 있는가?
• RQ5 효율적인 ViTs는 공격에 대한 민감도나 비분류 작업에서 어떻게 성능을 발휘하며, 다양한 비전 작업 간에서 일반화 가능한가?

주요 결과

• 효율 오차율(EER) 지표는 다양한 하드웨어 제약 조건 하에서 ViT 모델 간의 효율성을 정규화하고 공정하게 비교할 수 있도록 하여, 기존 지표보다 더 종합적인 효율성 시각을 제공한다.
• 단일 전략이 모든 지표에서 뛰어나지 않지만, 프루닝과 지식 증류를 융합한 하이브리드 접근 방식인 동적비트(DynamicViT)는 정확도 저하를 최소화하면서도 뛰어난 성능을 달성한다.
• 지식 증류와 양자화 기법은 특히 아키텍처 압축과 함께 적용될 경우 모델 크기와 추론 FLOPs를 크게 줄일 수 있으며, 정확도 손실가 최소한이다.
• 특히 구조적 프루닝을 적용한 프루닝 기법은 훈련 후 적용될 경우 파라미터 수와 FLOPs를 크게 감소시키면서도 높은 Top-1 정확도를 유지한다.
• 콤팩트 아키텍처 설계 방식, 예를 들어 스위니 트랜스포머(Swin Transformer)와 모바일비트(MobileViT)는 효율적인 자기주의 주의 메커니즘과 계층적 특징 추출 방식 덕분에 저자원 장치에서 뛰어난 성능을 보인다.
• 본 연구는 현재의 벤치마크가 주로 이미지 분류 작업에 국한되어 있음을 밝혀내며, 향후 연구는 정밀 예측 작업과 공격에 대한 강건성 평가로 확장되어야 한다고 지적한다.

Figure 2: Graphical representation of the vanilla KD learning strategy. Please refer to Section 2.3 for the used notation.