[논문 리뷰] SaiT: Sparse Vision Transformers through Adaptive Token Pruning

Ling Li, David Thorsley외 1명|arXiv (Cornell University)|2022. 10. 11.

CCD and CMOS Imaging Sensors인용 수 14

한 줄 요약

SaiT는 입력 이미지의 복잡성에 따라 동적으로 패치 토큰의 희소성 조정이 가능한 통합적이고 적응형 토큰 제거 프레임워크를 제안한다. 이는 재학습 없이도 실시간 정확도-처리량 트레이드오���을 가능하게 하며, 밀도/희소성 번갈아 학습, 지식 정착, 파라미터 없는 적응형 제거를 결합하여 DeiT 및 LVViT 모델 전반에서 FLOPs를 39–43% 감소시키고, 처리량을 67–91% 향상시키며 정확도 손실이 0.5% 미만이다.

ABSTRACT

While vision transformers have achieved impressive results, effectively and efficiently accelerating these models can further boost performances. In this work, we propose a dense/sparse training framework to obtain a unified model, enabling weight sharing across various token densities. Thus one model offers a range of accuracy and throughput tradeoffs for different applications. Besides, we introduce adaptive token pruning to optimize the patch token sparsity based on the input image. In addition, we investigate knowledge distillation to enhance token selection capability in early transformer modules. Sparse adaptive image Transformer (SaiT) offers varying levels of model acceleration by merely changing the token sparsity on the fly. Specifically, SaiT reduces the computation complexity (FLOPs) by 39% - 43% and increases the throughput by 67% - 91% with less than 0.5% accuracy loss for various vision transformer models. Meanwhile, the same model also provides the zero accuracy drop option by skipping the sparsification step. SaiT achieves better accuracy and computation tradeoffs than state-of-the-art transformer and convolutional models.

연구 동기 및 목표

• 엣지 및 실시간 응용 프로그램에서 고정된 복잡성의 비전 트랜스포머의 비효율성을 해결하기 위해.
• 재학습 없이도 다양한 정확도 및 처리량 설정을 지원하는 단일 통합 모델을 가능하게 하기 위해.
• 입력 이미지의 복잡성에 따라 토큰 희소성을 동적으로 조정하여 계산을 최적화하기 위해.
• 지식 정착과 함께 밀도/희소성 동시 학습을 통해 희소 추론에서도 높은 정확도를 유지하기 위해.
• 정확도 저하를 최소화하면서 계산 비용(FLOPs)을 감소시키고 추론 속도를 향상시키기 위해.

제안 방법

• 다양한 토큰 희소성 수준을 지원하는 단일 통합 비전 트랜스포머 모델을 훈련하기 위한 밀도/희소성 번갈아 학습 프레임워크를 제안한다.
• 누적된 주의 점수 확률 질량 기반으로 토큰을 선택하는 적응형 토큰 제거를 도입하여 입력 이미지에 따라 희소성을 동적으로 조정한다.
• 초기 트랜스포머 레이어에서 토큰 중요도 추정을 향상시키기 위해 DINO 교사에서 지식 정착을 활용한다.
• 고정된 토큰 수를 피하기 위해 가장 중요한 토큰을 확률 임계값까지 누적하는 질량 기반 희소화 전략을 사용한다.
• 낮은 중요도 토큰에 대한 주의 계산을 건너뛰어 추가 계산을 최소화하는 파라미터 없는 제거를 적용한다.
• 다양한 토큰 밀도(0.2–0.9)에서 성능을 균형 잡기 위해 최적의 질량 임계값을 0.7로 설정한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 비전 트랜스포머 모델이 다양한 정확도 및 처리량 트레이드오프를 지원할 수 있는가?
• RQ2 입력 이미지의 복잡성에 따라 토큰 희소성을 어떻게 적응적으로 조정하여 계산을 최소화할 수 있는가?
• RQ3 희소 추론에서 정확도를 유지하기 위해 최적의 학습 전략과 정착 조합은 무엇인가?
• RQ4 적응형 제거가 고정 비율 또는 값 기반 제거에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ5 DINO 교사에서의 지식 정착이 초기 레이어에서 희소 추론을 위한 토큰 중요도 학습을 향상시킬 수 있는가?

주요 결과

• SaiT는 DeiT 및 LVViT 모델 전반에서 FLOPs를 39–43% 감소시키고 처리량을 67–91% 향상시키며 정확도 손실이 0.5% 미만이다.
• 희소화가 생략된 경우 기준 정확도(79.8%)를 유지하여 정확도 손실 없음 운영이 가능하다.
• DINO를 정착 교사로 사용할 경우 DeiT-S에 비해 밀도 모드에서 1.6%, 희소 모드에서 2.3%의 상위-1 정확도 향상을 달성한다.
• 0.5 이하의 토큰 밀도에서 질량 기반 적응형 제거 전략이 값 기반 제거 전략보다 우수한 성능을 보인다.
• 0.7의 질량 임계값이 다양한 토큰 밀도(0.2–0.9) 전반에서 최적의 성능을 낳는다.
• 통합 모델은 기준 모델 대비 처리량을 35–71% 높이고 FLOPs를 43% 감소시켜 효율-정확도 트레이드오프에서 최신 CNN 및 트랜스포머 모델을 능가한다.