[論文レビュー] Vis-TOP: Visual Transformer Overlay Processor

Wei Hu, Dian Xu+3 more|arXiv (Cornell University)|Oct 21, 2021

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 4

ひとこと要約

Vis-TOP は、多様なビジョン Transformer モデルに対応する再構成可能オーバーレイプロセッサであり、3層2段階の変換アーキテクチャを採用することで、柔軟で効率的なハードウェアマッピングを実現する。GPU よりも 1.5 倍高いスループットを達成し、既存のアクセラレーターよりも DSP あたり 2.2–11.7 倍高いスループットを実現し、エッジ AI 推論におけるパワーおよびコスト効率の優れたソリューションを提供する。

ABSTRACT

In recent years, Transformer has achieved good results in Natural Language Processing (NLP) and has also started to expand into Computer Vision (CV). Excellent models such as the Vision Transformer and Swin Transformer have emerged. At the same time, the platform for Transformer models was extended to embedded devices to meet some resource-sensitive application scenarios. However, due to the large number of parameters, the complex computational flow and the many different structural variants of Transformer models, there are a number of issues that need to be addressed in its hardware design. This is both an opportunity and a challenge. We propose Vis-TOP (Visual Transformer Overlay Processor), an overlay processor for various visual Transformer models. It differs from coarse-grained overlay processors such as CPU, GPU, NPE, and from fine-grained customized designs for a specific model. Vis-TOP summarizes the characteristics of all visual Transformer models and implements a three-layer and two-level transformation structure that allows the model to be switched or changed freely without changing the hardware architecture. At the same time, the corresponding instruction bundle and hardware architecture are designed in three-layer and two-level transformation structure. After quantization of Swin Transformer tiny model using 8-bit fixed points (fix_8), we implemented an overlay processor on the ZCU102. Compared to GPU, the TOP throughput is 1.5x higher. Compared to the existing Transformer accelerators, our throughput per DSP is between 2.2x and 11.7x higher than others. In a word, the approach in this paper meets the requirements of real-time AI in terms of both resource consumption and inference speed. Vis-TOP provides a cost-effective and power-effective solution based on reconfigurable devices for computer vision at the edge.

研究の動機と目的

• 限られたパワーと面積リソースを有するエッジデバイスに、多様でリソースを喰うビジョン Transformer モデルを効果的にデプロイする課題に対処すること。
• 一般用途アクセラレータ（例：GPU）や固定アーキテクチャアクセラレータの限界を克服し、ハードウェアの再設計を伴わずに再構成性を実現すること。
• ビジョン Transformer 用に共同設計されたソフトウェア・ハードウェアスタックを通じて、高いスループットと効率的なリソース利用を達成すること。
• プログラマブルな命令バンドルとモジュラーなハードウェアコンポONENTを通じて、モデルの進化と新規アーキテクチャのサポートを可能にすること。

提案手法

• 本稿では、モデル層、コンテナ層、コンponent層からなる3層2段階の変換アーキテクチャを提案し、ニューラルネットワーク演算をハードウェアに透明にマッピング可能にする。
• 異なる Transformer ブロック間で計算およびデータフローを動的に再構成できるカスタム命令バンドルを導入する。
• 普遍的なモジュラー単位（固定バッチサイズ）と可変的なモジュラー単位（再構成可能構造）を備えたハードウェア設計により、多様なアテンションおよびフィードフォワード演算をサポートする。
• ハードウェア的視点からのモデルスライシングにより、アテンション層および FFN 层にわたる細粒度の並列処理とパイプライン処理を実現する。
• ZCU102 FPGA 上での効率的デプロイを可能にするために、Swin Transformer tiny モデルの 8 ビット固定小数点量子化（fix_8）をサポートする。
• モデルバリアント間での命令レベルスケジューリングとハードウェアリソース再利用を通じて、スループットと DSP 効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 同一のハードウェアアーキテクチャが、構造が異なる多数のビジョン Transformer モデルを効率的にサポートできるか？
• RQ2 FPGA 上でのビジョン Transformer 推論において、ハードウェアの再構成性と計算効率の最適なバランスは何か？
• RQ3 オーバーレイプロセッサは、既存の専用アクセラレーターよりも DSP あたりのスループットを高く達成できるか？
• RQ4 提案された3層2段階の変換モデルは、ソフトウェアからハードウェアへのマッピングをどのように透明に実現するか？
• RQ5 モジュラーかつ合成可能なハードウェアユニットの影響は、リソース利用効率および推論速度にどのようなものか？

主な発見

• Vis-TOP は、量子化済みの Swin Transformer tiny モデルに対して ZCU102 FPGA 上で 11.83 フレーム/秒の推論速度を達成した。
• GPU（Tesla T4）と比較して、Vis-TOP は 1.5 倍高いスループットを実現し、それぞれ 55.86 推論/秒を記録した。
• FTRANS、NPE、FQ-BERT といった他のアクセラレーターよりも、Vis-TOP は DSP あたり 2.2 倍から 11.7 倍高いスループットを達成した。
• DSP あたりのスループットは Vis-TOP で 0.1515 であり、FTRANS（0.0148）、NPE（0.0669）、FQ-BERT（0.0129）を大きく上回った。
• Vis-TOP はわずか 558 個の DSP スライスしか使用せず、FTRANS（6840）に比べてはるかに少ないため、高いリソース効率を示したが、高いスループットを維持した。
• ハードウェアの変更なしにモデルの再構成が可能であり、命令の更新や新しいモジュールインターフェースの導入により、将来のビジョン Transformer モデルのサポートが可能になった。