[논문 리뷰] Visual Transformer Pruning.

Mingjian Zhu, Kai Han외 2명|arXiv (Cornell University)|2021. 04. 17.

Image Enhancement Techniques참고 문헌 27인용 수 23

한 줄 요약

이 논문은 정확도 저하를 최소화하면서 높은 압축률을 달성할 수 있도록, 중요하지 않은 채널을 식별하기 위해 희소성 정규화를 사용하는 비전 트랜스포머를 위한 채널 프루닝 방법을 제안한다. 학습 시 정규화를 적용하고, 영향력이 낮은 채널을 제거한 후 미세조정하는 접근 방식은 ImageNet에서 파라미터와 FLOPs를 크게 줄이며 뛰어난 정확도 유지 성능을 보인다.

ABSTRACT

Visual transformer has achieved competitive performance on a variety of computer vision applications. However, their storage, run-time memory, and computational demands are hindering the deployment on mobile devices. Here we present an visual transformer pruning approach, which identifies the impacts of channels in each layer and then executes pruning accordingly. By encouraging channel-wise sparsity in the Transformer, important channels automatically emerge. A great number of channels with small coefficients can be discarded to achieve a high pruning ratio without significantly compromising accuracy. The pipeline for visual transformer pruning is as follows: 1) training with sparsity regularization; 2) pruning channels; 3) finetuning. The reduced parameters and FLOPs ratios of the proposed algorithm are well evaluated and analyzed on ImageNet dataset to demonstrate its effectiveness.

연구 동기 및 목표

• 비전 트랜스포머의 높은 계산 및 메모리 요구량이 모바일 배포를 어렵게 하는 문제를 해결하기 위해.
• 성능 저하 없이 비전 트랜스포머 내의 여분의 채널을 식별하고 제거하기 위해.
• 높은 정확도를 유지하면서도 높은 압축 비율을 달성할 수 있는 프루닝 파이프라인 개발을 위해.
• 제안된 방법의 효과성을 ImageNet 데이터셋에서 평가하기 위해.

제안 방법

• 비전 트랜스포머의 채널 수준에서의 희소성을 유도하기 위해 학습 중에 희소성 정규화를 적용한다.
• 학습 후 중요도 점수를 기반으로 작은 계수를 가진 채널을 식별하고 제거한다.
• 개별 가중치가 아닌 전체 채널을 제거하는 구조적 프루닝을 수행한다.
• 프루닝 과정에서 발생한 정확도 손실을 복구하기 위해 프루닝된 모델을 미세조정한다.
• 세 단계 파이프라인을 사용한다: (1) 희소 학습, (2) 채널 프루닝, (3) 미세조정.
• ImageNet에서 파라미터 감소 및 FLOPs 절감 측면에서 최종 모델의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 희소성 정규화가 비전 트랜스포머에서 프루닝에 적합한 중요하지 않은 채널을 효과적으로 식별할 수 있는가?
• RQ2 ImageNet에서 경쟁적인 정확도를 유지하면서 도달할 수 있는 최대 프루닝 비율은 얼마인가?
• RQ3 학습-프루닝-미세조정의 세 단계 파이프라인은 종단 간 학습 대비 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ4 성능 저하 없이 파라미터 수와 FLOPs를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 프루닝 방법은 ImageNet 데이터셋에서 모델 파라미터와 FLOPs를 크게 줄였다.
• 희소성 정규화를 통해 중요한 채널을 식별함으로써, 정확도 저하 최소화로 높은 프루닝 비율을 달성할 수 있었다.
• 희소 학습, 프루닝, 미세조정의 세 단계 파이프라인은 압축 후 모델 성능을 효과적으로 유지하였다.
• 계산 및 메모리 요구량을 줄임으로써, 이 방법은 자원이 제한된 모바일 디바이스에서 비전 트랜스포머의 효율적 배포를 가능하게 하였다.