[논문 리뷰] Vis-TOP: Visual Transformer Overlay Processor

Wei Hu, Dian Xu외 3명|arXiv (Cornell University)|2021. 10. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 4

한 줄 요약

Vis-TOP는 다양한 시각적 트랜스포머 모델에 대해 재구성 가능한 오버레이 프로세서로, 세 층, 이중 수준의 변환 아키텍처를 사용하여 다양한 시각적 트랜스포머 모델 간에 민첩하고 효율적인 하드웨어 매핑을 가능하게 한다. 이는 GPU 대비 1.5배 높은 처리량과 기존 가속기 대비 2.2x–11.7x 높은 DSP 당 처리량을 달성하여 엣지 AI 추론을 위한 에너지 및 비용 효율적인 솔루션을 제공한다.

ABSTRACT

In recent years, Transformer has achieved good results in Natural Language Processing (NLP) and has also started to expand into Computer Vision (CV). Excellent models such as the Vision Transformer and Swin Transformer have emerged. At the same time, the platform for Transformer models was extended to embedded devices to meet some resource-sensitive application scenarios. However, due to the large number of parameters, the complex computational flow and the many different structural variants of Transformer models, there are a number of issues that need to be addressed in its hardware design. This is both an opportunity and a challenge. We propose Vis-TOP (Visual Transformer Overlay Processor), an overlay processor for various visual Transformer models. It differs from coarse-grained overlay processors such as CPU, GPU, NPE, and from fine-grained customized designs for a specific model. Vis-TOP summarizes the characteristics of all visual Transformer models and implements a three-layer and two-level transformation structure that allows the model to be switched or changed freely without changing the hardware architecture. At the same time, the corresponding instruction bundle and hardware architecture are designed in three-layer and two-level transformation structure. After quantization of Swin Transformer tiny model using 8-bit fixed points (fix_8), we implemented an overlay processor on the ZCU102. Compared to GPU, the TOP throughput is 1.5x higher. Compared to the existing Transformer accelerators, our throughput per DSP is between 2.2x and 11.7x higher than others. In a word, the approach in this paper meets the requirements of real-time AI in terms of both resource consumption and inference speed. Vis-TOP provides a cost-effective and power-effective solution based on reconfigurable devices for computer vision at the edge.

연구 동기 및 목표

• 제한된 전력과 면적을 가진 엣지 디바이스에 자원을 많이 소비하는 다양한 시각적 트랜스포머 모델을 구현하는 데 도전하는 것.
• 일반 목적 가속기(GPU 등)와 고정 아키텍처 가속기의 한계를 극복하기 위해 하드웨어 재설계 없이도 재구성 가능성을 제공하는 것.
• 시각적 트랜스포머를 위한 소프트웨어-하드웨어 스택을 공동 설계하여 높은 처리량과 자원 활용 효율을 달성하는 것.
• 프로그래밍 가능한 명령어 번들의 및 모듈식 하드웨어 구성 요소를 통해 모델의 진화와 새로운 아키텍처를 지원하는 것.

제안 방법

• 논문은 세 층, 이중 수준의 변환 아키텍처를 제안한다: 모델 레이어, 컨테이너 레이어, 구성 요소 레이어로, 신경망 연산을 하드웨어로의 투명한 매핑을 가능하게 한다.
• 다양한 트랜스포머 블록 간의 계산 및 데이터 플로우를 동적으로 재구성할 수 있는 맞춤형 명령어 번들을 도입한다.
• 다양한 어텐션 및 피드포워드 연산을 지원하기 위해 일반 모듈식 유닛(고정 배치 크기)과 가변 모듈식 유닛(재구성 가능한 구조)을 설계한다.
• 하드웨어 관점에서 모델 슬라이싱을 수행하여 어텐션 및 FFN 레이어 간에 세밀한 병렬 처리와 파이프라인 처리를 가능하게 한다.
• ZCU102 FPGA에 효율적인 구현을 위해 스윙 트랜스포머 타이니 모델의 8비트 고정점 양자화(fix_8)를 지원한다.
• 모델 변종 간의 명령어 수준 스케줄링과 하드웨어 자원 재사용을 통해 처리량과 DSP 효율을 최적화한다.

실험 결과

연구 질문

• RQ1 동일한 하드웨어 아키텍처가 다양한 구조를 가진 여러 시각적 트랜스포머 모델을 효율적으로 지원할 수 있는가?
• RQ2 FPGA에서 시각적 트랜스포머 추론을 위한 하드웨어 재구성 가능성과 계산 효율성 사이의 최적의 균형은 무엇인가?
• RQ3 오버레이 프로세서가 기존 전용 가속기보다 DSP 당 더 높은 처리량을 달성할 수 있는가?
• RQ4 제안된 세 층, 이중 수준의 변환 모델이 소프트웨어에서 하드웨어로의 투명한 매핑을 어떻게 가능하게 하는가?
• RQ5 모듈식이고 조립 가능한 하드웨어 유닛은 자원 활용도와 추론 속도에 어떤 영향을 미치는가?

주요 결과

• Vis-TOP는 양자화된 스윙 트랜스포머 타이니 모델에 대해 ZCU102 FPGA에서 11.83fps의 추론 프레임 속도를 달성한다.
• GPU(Tesla T4) 대비 Vis-TOP는 1.5배 높은 처리량을 제공하며, 각각 55.86 inference/sec의 성능을 기록한다.
• FTRANS, NPE, FQ-BERT와 같은 다른 가속기 대비 Vis-TOP는 DSP 당 2.2x에서 11.7x 높은 처리량을 달성한다.
• DSP 당 처리량은 Vis-TOP가 0.1515로, FTRANS(0.0148), NPE(0.0669), FQ-BERT(0.0129)를 크게 앞서며 뚜렷한 성능 우위를 보인다.
• Vis-TOP는 FTRANS(6840)에 비해 단지 558개의 DSP 슬라이스만 사용하여 고처리량에도 불구하고 높은 자원 효율성을 입증한다.
• 하드웨어 변경 없이도 모델 재구성 가능하며, 명령어 업데이트 또는 새로운 모듈 인터페이스를 통해 향후 시각적 트랜스포머 모델을 지원할 수 있다.