[논문 리뷰] TerViT: An Efficient Ternary Vision Transformer

Sheng Xu, Yanjing Li외 5명|arXiv (Cornell University)|2022. 01. 20.

CCD and CMOS Imaging Sensors인용 수 5

한 줄 요약

TerViT는 8비트에서 2비트 가중치로 점진적인 훈련을 도입하고 채널별 삼치화를 적용함으로써 최소한의 정확도 손실로 높은 모델 압축을 달성하는 새로운 삼치 비전 트랜스포머(TerViT)를 제안한다. Swin-S 모델의 크기를 13.1MB로 줄였으며 ImageNet에서 79.5%의 Top-1 정확도를 유지하여 이전의 2비트 방법보다 최대 4% 높고, 전체 정밀도 모델에 가까운 성능을 달성한다.

ABSTRACT

Vision transformers (ViTs) have demonstrated great potential in various visual tasks, but suffer from expensive computational and memory cost problems when deployed on resource-constrained devices. In this paper, we introduce a ternary vision transformer (TerViT) to ternarize the weights in ViTs, which are challenged by the large loss surface gap between real-valued and ternary parameters. To address the issue, we introduce a progressive training scheme by first training 8-bit transformers and then TerViT, and achieve a better optimization than conventional methods. Furthermore, we introduce channel-wise ternarization, by partitioning each matrix to different channels, each of which is with an unique distribution and ternarization interval. We apply our methods to popular DeiT and Swin backbones, and extensive results show that we can achieve competitive performance. For example, TerViT can quantize Swin-S to 13.1MB model size while achieving above 79% Top-1 accuracy on ImageNet dataset.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 비전 트랜스포머의 높은 계산 비용과 메모리 사용을 해결하기 위해.
• 실수값과 삼치값 매개변수 간의 큰 손실 표면 갭으로 인해 비전 트랜스포머의 삼치 양자화에서 최적화가 어려운 문제를 해결하기 위해.
• 채널 간 가중치 분포의 다양성을 고려한 채널별 삼치화를 도입하여 양자화의 안정성과 성능을 향상시키기 위해.
• 8비트 모델에서 시작하는 점진적 훈련 기반으로 실수값과 삼치값 비전 트랜스포머 간의 최적화 갭을 줄이기 위해.
• 낮은 비트 비전 트랜스포머 양자화에서 최신 기술 성능을 달성하고 압축 비율을 높이며 정확도 손실를 최소화하기 위해.

제안 방법

• 점진적 훈련 기반: 먼저 8비트 비전 트랜스포머를 훈련한 후, 이를 최종 삼치 비전 트랜스포머의 초기화를 위한 프록시로 사용하여 최적화 불안정성을 감소시킨다.
• 채널별 삼치화를 적용하여 각 채널의 가중치 분포를 독립적으로 삼치값(±1, 0)으로 매핑하고 고유한 양자화 간격을 사용한다.
• 패치 임bedding 및 분류 헤드 레이어에서 메모리와 FLOPs를 줄이기 위해 8비트 활성화 양자화를 적용하여 활성화 정밀도를 유지한다.
• 헤시안 고유값 분석을 통해 첫 번째(패치 임베딩)와 마지막(분류 헤드) 레이어가 높은 민감도를 보임을 확인하고, 이를 8비트 형식으로 저장한다.
• 이중 단계 훈련 과정을 적용: 먼저 8비트 모델을 사전 훈련한 후, 양자화 인식 훈련(QAT)을 통해 삼치 모델을 미세조정하여 수렴 안정성을 향상시킨다.
• 손실 표면을 시각화하여 삼치 모델이 8비트 또는 실수값 모델보다 더 깊고 복잡한 손실 표면을 가지며, 점진적 훈련의 필요성을 입증한다.

실험 결과

연구 질문

• RQ1 실수값과 삼치값 매개변수 간의 큰 최적화 갭으로 인해 비전 트랜스포머에 삼치 양자화를 효과적으로 적용할 수 있는가?
• RQ2 8비트 모델에서 시작하는 점진적 훈련이 직접 삼치 훈련에 비해 삼치 비전 트랜스포머의 수렴성과 성능을 향상시키는가?
• RQ3 채널별 삼치화가 각 채널의 가중치 분포 변동성을 반영함으로써 양자화의 안정성과 성능을 향상시킬 수 있는가?
• RQ4 기존의 2비트 및 8비트 양자화 기준 모델과 비교했을 때, 제안된 방법은 ImageNet에서 압축 비율과 정확도 측면에서 어떤가?
• RQ5 첫 번째 및 마지막 레이어를 양자화할 경우 성능에 어떤 영향을 미치며, 정확도와 효율성을 균형 잡기 위해 이들 레이어에 8비트 정밀도를 사용할 수 있는가?

주요 결과

• TerViT는 Swin-S 모델의 크기를 13.1MB로 줄여 15.25배의 압축 비율을 달성하였으며, ImageNet에서 79.5%의 Top-1 정확도를 확보하여 전체 정밀도 모델과 4% 이내의 정확도 손실을 기록한다.
• DeiT-S에서는 14.70배의 압축 비율로 74.2%의 Top-1 정확도를 달성하여 기준 모델인 TWN보다 4.0% 높은 성능을 보였다.
• DeiT-B에서는 15.25배의 압축 비율로 76.1%의 Top-1 정확도를 기록하여 TWN 기준 모델의 72.9%보다 3.2% 높은 성능을 보였다.
• 삼치 비전 트랜스포머와 실수값 모델 간의 성능 격차를 줄였으며, TerDeiT-B는 동일한 모델 크기에서 실수값 DeiT-T보다 3.9% 높은 성능을 기록했다.
• 8비트로 양자화된 첫 번째 및 마지막 레이어는 32비트 대비 정확도 손실이 0.3%에 불과하여 성능 유지와 비트 폭 감소를 동시에 달성함을 입증했다.
• 채널별 삼치화가 양자화 안정성을 향상시켰으며, 훈련 후 가중치 분포에서 낮은 채널별 절대 평균(CAM)과 높은 표준편차(SDAM)를 통해 이를 뒷받침한다.