[논문 리뷰] Efficiency 360: Efficient Vision Transformers

Badri N. Patro, Vijay Srinivas Agneeswaran|arXiv (Cornell University)|2023. 02. 16.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 메모리 효율성, 계산 비용, 정확도, 내구성, 공정성, 개인정보 보호, 투명성, 포괄성 등을 포함한 10개의 산업적 차원을 고려하여 비전 트랜스포머를 최적화하기 위한 통합적 접근인 Efficiency 360 프레임워크를 제안한다. ImageNet-1K, CIFAR, Oxford 데이터셋에서 파arameter 수, FLOPs, 성능을 기준으로 20개 이상의 비전 트랜스포머 모델을 벤치마킹한 결과, 더 큰 모델(예: ViT-H, CvT-24)과 ImageNet-22K에서의 사전학습이 전이학습 성능을 향상시키는 것으로 나타났다. 그러나 LRA와 같은 장거리 벤치마크에서는 비전 트랜스포머가 장거리 시나리오에서 심각한 과제를 겪는 것으로 확인되었다.

ABSTRACT

Transformers are widely used for solving tasks in natural language processing, computer vision, speech, and music domains. In this paper, we talk about the efficiency of transformers in terms of memory (the number of parameters), computation cost (number of floating points operations), and performance of models, including accuracy, the robustness of the model, and fair \& bias-free features. We mainly discuss the vision transformer for the image classification task. Our contribution is to introduce an efficient 360 framework, which includes various aspects of the vision transformer, to make it more efficient for industrial applications. By considering those applications, we categorize them into multiple dimensions such as privacy, robustness, transparency, fairness, inclusiveness, continual learning, probabilistic models, approximation, computational complexity, and spectral complexity. We compare various vision transformer models based on their performance, the number of parameters, and the number of floating point operations (FLOPs) on multiple datasets.

연구 동기 및 목표

• 정확도와 FLOPs 외에도 다양한 산업적 효율성 차원을 종합적으로 평가할 수 있는 통합 프레임워크 개발
• 표준 비전 데이터셋(ImageNet-1K, CIFAR, Oxford)에서 파라미터 수, FLOPs, 성능 측면에서 최신 비전 트랜스포머 모델의 성능을 비교 분석
• 모델 크기와 사전학습 데이터(ImageNet-1K 대비 ImageNet-22K)가 전이학습 성능에 미치는 영향 분석
• Long Range Arena(LRA) 벤치마크를 통한 비전 트랜스포머의 장거리 시각적 작업에서의 성능 평가 및 한계점 규명
• 공정성, 개인정보 보호, 투명성, 다중모odal 응용 분야에서의 효율적 트랜스포머 연구의 열린 과제 도출

제안 방법

• 10개의 평가 차원(내구성, 개인정보 보호, 공정성, 투명성, 포괄성, 지속적 학습, 확률 모델링, 근사, 계산 복잡도, 스펙트럼 복잡도)을 통합한 360도 평가 체계인 Efficiency 360 프레임워크 제안
• 아키텍처, 어텐션 유형(전역/국소), 위치 임bedding, 네트워크 구조(등방성/피라미드), 추가 레이블(예: 스펙트럼 게이팅, 풀링) 기반으로 20개 이상의 비전 트랜스포머 모델 비교
• 표준 벤치마크 활용: 이미지 분류를 위한 ImageNet-1K, 소규모 평가를 위한 CIFAR-10/100, 세분화된 인식을 위한 Oxford-IIIT-Flowers/Pets
• Long Range Arena(LRA) 벤치마크를 통한 모델 성능 평가 — 다양한 모odal(예: 픽셀 시퀀스 포함)에서 장거리 추론 능력 테스트
• DeiT 기반 추론에서 어텐션 기반 설명의 해석 가능성과 시각화를 위한 Grad-CAM 활용
• ViT 및 CvT 모델의 레이어 간 아키텍처 행동 분석을 통해 깊이와 패치 크기의 성능에 미치는 영향 평가

실험 결과

연구 질문

• RQ1 표준 비전 벤치마크에서 다양한 비전 트랜스포머 아키텍처의 파라미터 수, FLOPs, 정확도 측면에서의 성능 비교는 어떻게 이루어지는가?
• RQ2 ImageNet-22K에서의 사전학습이 ImageNet-1K 대비 일관되게 전이학습 성능을 향상시키는가? 이는 데이터 스케일 때문인가, 모델 용량 때문인가?
• RQ3 Long Range Arena(LRA) 벤치마크를 통해 장거리 시각적 시퀀스로의 일반화 능력은 어느 정도인가?
• RQ4 장수열 처리 시 현재 비전 트랜스포머에서 나타나는 주요 비효율성 요인은 무엇이며, NLP 최적화된 효율적 트랜스포머와 비교해 볼 때 어떤가?
• RQ5 Efficiency 360 프레임워크는 향후 비전 트랜스포머의 공정성, 개인정보 보호, 투명성 향상에 어떻게 기여할 수 있는가?

주요 결과

• ViT-H, CvT-24와 같은 더 큰 비전 트랜스포머 변종은 ImageNet-1K 및 세분화된 인식 데이터셋에서 ViT-Base, CvT-13과 같은 더 작은 모델보다 뛰어난 성능을 보이며, 이는 모델 스케일이 성능 향상에 기여함을 시사한다.
• 16패치 크기를 사용한 ViT-H는 ImageNet-1K에서 ViT-Base 및 ViT-Large보다 더 높은 정확도를 달성하여 최적의 패치 크기 선택이 성능에 중요한 영향을 미칠 수 있음을 보여준다.
• CvT-24는 CvT-13 및 CvT-21보다 뛰어난 성능을 보이며, 다양한 데이터셋에서 더 큰 모델 용량이 결과 향상에 기여함을 재확인한다.
• ImageNet-22K에서의 사전학습이 ImageNet-1K 대비 항상 더 나은 전이학습 성능을 제공하지는 않으며, 그 이유는 명확하지 않다 — 모델 아키텍처나 데이터 분포의 차이 때문일 수 있다.
• 비전 트랜스포머는 Long Range Arena(LRA) 벤치마크에서 특히 Path-X 및 이미지 시퀀스 분류와 같은 시각적 작업에서 빈약한 성능을 보이며, 장거리 모델링 능력에 한계가 있음을 시사한다.
• 최근의 비전 트랜스포머(Swin, CSwin, RegionViT 등)는 LRA 벤치마크에서 평가된 바가 없으며, 이는 장거리 시각적 추론 분야에서의 연구 격차를 드러낸다.