[論文レビュー] FTRANS: Energy-Efficient Acceleration of Transformers using FPGA

Bingbing Li, Santosh Pandey+8 more|arXiv (Cornell University)|Jul 16, 2020

Natural Language Processing Techniques参考文献 18被引用数 7

ひとこと要約

FTRANSは、強化されたブロック巡回行列（BCM）に基づくモデル圧縮とカスタムハードウェアアーキテクチャを用いて、エネルギー効率の高いFPGAベースのTransformerモデル加速フレームワークを提案する。最大16倍のモデルサイズ削減を達成し、精度の低下を最小限に抑え、CPUに比べて27.07倍の高いスループットと81倍の優れたエネルギー効率を実現し、GPUに比べてエネルギー効率で8.80倍優れている。

ABSTRACT

In natural language processing (NLP), the "Transformer" architecture was proposed as the first transduction model replying entirely on self-attention mechanisms without using sequence-aligned recurrent neural networks (RNNs) or convolution, and it achieved significant improvements for sequence to sequence tasks. The introduced intensive computation and storage of these pre-trained language representations has impeded their popularity into computation and memory-constrained devices. The field-programmable gate array (FPGA) is widely used to accelerate deep learning algorithms for its high parallelism and low latency. However, the trained models are still too large to accommodate to an FPGA fabric. In this paper, we propose an efficient acceleration framework, Ftrans, for transformer-based large scale language representations. Our framework includes enhanced block-circulant matrix (BCM)-based weight representation to enable model compression on large-scale language representations at the algorithm level with few accuracy degradation, and an acceleration design at the architecture level. Experimental results show that our proposed framework significantly reduces the model size of NLP models by up to 16 times. Our FPGA design achieves 27.07x and 81x improvement in performance and energy efficiency compared to CPU, and up to 8.80x improvement in energy efficiency compared to GPU.

研究の動機と目的

• 大規模で計算集約的なTransformerモデルを、エネルギーとメモリが制限されたエッジデバイスに展開する課題に対処すること。
• BERT や RoBERTa のような事前学習済みNLPモデルのモデルサイズを、顕著な精度の低下を伴わずに削減すること。
• 圧縮されたTransformerモデルを効率的に加速できる低消費電力で高スループットなFPGAアーキテクチャを設計すること。
• CPUおよびGPU実装と比較して、優れたエネルギー効率とパフォーマンスを達成すること。

提案手法

• 精度の低下を最小限に抑えるために、アルゴリズムレベルで拡張されたBCMベースの重み表現を提案し、Transformerモデルの重みを圧縮する。
• FPGA上のリソース制約を緩和し、計算スケジューリングを最適化する二段階の最適化アプローチを導入する。
• 圧縮モデルを効果的にサポートするための最適化されたデータフローとリソース利用を備えたカスタムFPGAアーキテクチャを設計する。
• 並列処理を最適化するために、Xilinx SDx 2017.1を用いた高水準合成（HLS）を活用し、FPGA実装を自動化する。
• さらにモデルサイズの削減とハードウェア効率の向上を図るため、BCM圧縮に加えて量子化を適用する。
• スループットとエネルギー効率の最適な設定を決定するために、バッチサイズの適応と遅延／消費電力のトレードオフ分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 強化されたBCMベースの圧縮は、顕著な精度の低下を伴わず、大規模なTransformerモデルのサイズを効果的に削減できるか？
• RQ2 圧縮されたNLPモデルに対して、FPGAベースの加速をどのように最適化すれば、高スループットと低遅延を達成できるか？
• RQ3 FPGAベースの推論は、CPUおよびGPU実装と比較して、Transformerモデルにおいてどの程度のエネルギー効率とパフォーマンス向上を達成できるか？
• RQ4 提案されたフレームワークは、低消費電力の埋め込みデバイスに大規模NLPモデルの展開を可能にするか？

主な発見

• FTRANSは、RoBERTaのようなNLPモデルに対して最大16倍のモデル圧縮を達成し、精度の低下は最小限に抑えられた。
• IMDBベンチマークにおいて、FPGA実装はCPUに比べて27.07倍の高いスループットと81倍の優れたエネルギー効率を達成した。
• GPU（RTX 5000）と比較して、FTRANSは消費電力を5.01倍低減し、エネルギー効率を8.80倍向上した。
• 埋め込み型のJetson TX2では、FTRANSは統合GPUに比べて2.44倍のエネルギー効率が優れていた。
• 遅延対消費電力比の最適バッチサイズは8であり、スループットとエネルギー消費のバランスが取れていた。
• FPGA上のリソース利用率は低く抑えられており、RoBERTa（base）では6,531個のDSPと452,661個のLUTが使用されたため、小型FPGAへのデプロイが可能であった。