[論文レビュー] Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization

Zhengang Li, Mengshu Sun+10 more|arXiv (Cornell University)|Aug 10, 2022

CCD and CMOS Imaging Sensors被引用数 6

ひとこと要約

本論文では、固定小数点および2の累乗（PoT）の混合方式量子化を用いた、FPGAに最適化された自動化フレームワークであるAuto-ViT-Accを提案する。FPGAリソースモデルを用いてビット幅と量子化方式比を共同最適化することで、32ビットベースラインと比較して56.8 FPS（5.6倍）の高いフレームレートを達成し、精度低下はたった0.71%にとどまり、従来の量子化手法に比べて精度とスループットの両面で優れた性能を発揮した。

ABSTRACT

Vision transformers (ViTs) are emerging with significantly improved accuracy in computer vision tasks. However, their complex architecture and enormous computation/storage demand impose urgent needs for new hardware accelerator design methodology. This work proposes an FPGA-aware automatic ViT acceleration framework based on the proposed mixed-scheme quantization. To the best of our knowledge, this is the first FPGA-based ViT acceleration framework exploring model quantization. Compared with state-of-the-art ViT quantization work (algorithmic approach only without hardware acceleration), our quantization achieves 0.47% to 1.36% higher Top-1 accuracy under the same bit-width. Compared with the 32-bit floating-point baseline FPGA accelerator, our accelerator achieves around 5.6x improvement on the frame rate (i.e., 56.8 FPS vs. 10.0 FPS) with 0.71% accuracy drop on ImageNet dataset for DeiT-base.

研究の動機と目的

• リソース制約のあるFPGA上で、高い効率と精度を実現するVision Transformerの導入に向けた課題を解決すること。
• 従来のCNN用量子化手法（固定小数点、PoT）がViTに適しているかどうか、およびそれらを最適に組み合わせる方法を調査すること。
• 目的の性能を達成するための、量子化パラメータとハードウェアリソース利用の共同最適化を実現する自動化されたFPGAに最適化されたワークフローの開発。
• ハードウェアに最適化された最適化を施した新規FPGAコンピューティングエンジンを設計し、ViTのマルチヘッドアテンションを高速化すること。
• 混合方式量子化が、FPGA上での精度とスループットの両面で、純粋な固定小数点またはPoT方式を上回ることを実証すること。

提案手法

• フレームワークは、FPGAリソース利用量モデルを用い、固定小数点とPoT量子化のビット幅および混合比に基づいてフレームレート（FPS）を予測する。
• ユーザーが定義したターゲットFPSを満たす最適な量子化設定（ビット幅とPoT比）の自動探索を実装する。
• ViTのマルチヘッドアテンション用に新規なFPGAコンピューティングエンジンを設計し、固定小数点演算にはDSPを、シフトベースのPoT演算にはLUTを活用する。
• 混合方式量子化を適用：重みを固定小数点とPoT成分に分割し、リソース利用効率と精度を最大化するように比率を最適化する。
• 量子化、ハードウェアモデリング、アクセラレータ生成を統合したエンドツーエンドのパイプラインを構築し、ターゲットFPSに従って駆動する。
• ワークフロー全体を自動化し、量子化済みViTモデルと対応するFPGAアクセラレータを生成する。

実験結果

リサーチクエスチョン

• RQ1 従来のCNN用量子化手法（固定小数点および2の累乗）は、FPGA上でのVision Transformerに効果的に適用可能か？
• RQ2 固定小数点とPoTを組み合わせた混合方式量子化を、FPGA上でのViT推論において精度とスループットのバランスを最適化するために、どのように体系的に最適化できるか？
• RQ3 ターゲットフレームレートを達成するための、固定小数点とPoT量子化のビット幅と混合比の最適な組み合わせは何か？
• RQ4 自動化されたFPGAに最適化されたフレームワークは、ViTのモデル量子化とハードウェアアクセラレータ設計を共同最適化できるか？
• RQ5 混合方式量子化は、FPGA上でのViT推論において、純粋な固定小数点またはPoT方式に比べ、精度と推論速度の両面で優れているか？

主な発見

• DeiT-smallでは、W4A4 + W3A4の混合量子化と43%のPoT比率を用いて150 FPSでTop-1精度77.94%を達成し、先行研究のW8A8モデルより0.47%高い精度を達成した。
• 100 FPSの条件下では、W8A8 + W4A8の混合量子化と43%のPoT比率を用い、Top-1精度78.74%を達成し、先行研究の結果より1.27%の精度向上を達成した。
• DeiT-baseでは、W4A4 + W3A4の混合量子化と40%のPoT比率を用いて55 FPS、Top-1精度81.14%を達成した。
• 33 FPSの条件下では、W8A8 + W4A8の混合量子化と45%のPoT比率を用い、Top-1精度81.84%を達成した。これは、ビット幅が低くても先行研究のW8A8モデルより0.66%高い精度を達成した。
• 32ビット浮動小数点ベースラインのFPGAアクセラレータと比較して、提案手法のアクセラレータはDeiT-baseで5.6倍の高いフレームレート（56.8 FPS 対 10.0 FPS）を達成し、精度低下はたった0.71%にとどまった。
• 量子化を施さない状態でも、ZCU102上でのFPGA実装は、DeiT-baseにおいて、Jetson TX2 GPUを上回る速度（10.0 FPS 対 7.87 FPS）と、より優れたパワー効率（9.91W 対 12.28W）を示した。