[論文レビュー] TurboTransformers: An Efficient GPU Serving System For Transformer Models

Jiarui Fang, Yang Yu+2 more|arXiv (Cornell University)|Oct 9, 2020

Advanced Neural Network Applications参考文献 20被引用数 9

ひとこと要約

TurboTransformers は、トランスフォーマーモデルの高い計算負荷と可変長入力の課題に対処する、GPUに最適化されたサービングシステムです。独自のランタイムおよびサービングフレームワークを採用し、動的プログラミングに基づくバッチスケジューラ、可変シーケンスに最適化されたメモリアロケータ、Softmax および LayerNorm 用の並列バッチリダクションカーネルにより、PyTorch よりも最大 4.06 倍のスループットを達成しています。また、低メモリフットプリントを維持し、PyTorch とのシームレスな統合を実現しています。

ABSTRACT

The transformer is the most critical algorithm innovation of the Nature Language Processing (NLP) field in recent years. Unlike the Recurrent Neural Network (RNN) models, Transformers can process on dimensions of sequence lengths in parallel, therefore leading to better accuracy on long sequences. However, efficient deployments of them for online services in data centers equipped with GPUs are not easy. First, more computation introduced by transformer structures makes it more challenging to meet the latency and throughput constraints of serving. Second, NLP tasks take in sentences of variable length. The variability of input dimensions brings a severe problem to efficient memory management and serving optimization. This paper designed a transformer serving system called TurboTransformers, which consists of a computing runtime and a serving framework to solve the above challenges. Three innovative features make it stand out from other similar works. An efficient parallel algorithm is proposed for GPU-based batch reduction operations, like Softmax and LayerNorm, major hot spots besides BLAS routines. A memory allocation algorithm, which better balances the memory footprint and allocation/free efficiency, is designed for variable-length input situations. A serving framework equipped with a new batch scheduler using dynamic programming achieves the optimal throughput on variable-length requests. The system can achieve the state-of-the-art transformer model serving performance on GPU platforms and can be seamlessly integrated into your PyTorch code with a few lines of code.

研究の動機と目的

• オンライン GPU 推論におけるトランスフォーマーモデルの高い計算コストと可変長入力の課題を解決すること。
• 多様なシーケンス長を有するデータセンタ環境において、サービングスループットを向上させ、遅延を低減すること。
• PyTorch や ONNX Runtime、TensorRT といった既存ソリューションを上回る性能を発揮するランタイムおよびサービングフレームワークを設計すること。
• 割り当て速度を損なわず、メモリフットプリントを増加させない効率的なメモリ管理を実現すること。
• 最小限のコード変更で PyTorch ワークフローにシームレスに統合できること。

提案手法

• GPU メモリ階層とスレッドレベルの並列処理に最適化された、Softmax および LayerNorm 操作の並列バッチリダクションアルゴリズムを提案。
• 可変長入力におけるメモリフットプリントと割り当て効率の両立を図る、シーケンス長を考慮したメモリアロケータを導入。
• 可変長リクエストをグループ化してゼロパディングを最小限に抑え、GPU 利用率を最大化する、動的プログラミングに基づくバッチスケジューラを採用。
• PyTorch との統合を実現するため、最小限のコード変更で PyTorch バックエンドを TurboTransformers の最適化されたランタイムに直接置き換え可能。
• 混合精度推論における Tensor Core 加速を活用し、精度を損なわずにパフォーマンスを向上。
• 固定長パディングを回避するための知的なリクエスト順序付けと動的バッチ形成により、バッチ処理を最適化。

実験結果

リサーチクエスチョン

• RQ1 GPU 上で Softmax および LayerNorm 操作を効率的に並列化することで、トランスフォーマー推論の遅延を低減できるか？
• RQ2 可変長トランスフォーマー入力において、メモリフットプリントと割り当て速度の両立を最良に実現するメモリアロケーション戦略は何か？
• RQ3 動的プログラミングに基づくバッチスケジューラは、可変長リクエストにおいて、ナイーブなバッチ処理を上回るスループットと遅延性能を達成できるか？
• RQ4 可変長ワークロード下で、TurboTransformers は PyTorch、ONNX Runtime、TensorRT と比較して、どの程度のスループットとメモリ効率を発揮するか？
• RQ5 Tensor Core 最適化により、推論精度を損なわず、どの程度のパフォーマンス向上が達成できるか？

主な発見

• 可変長入力（シーケンス長 2–100）において、TurboTransformers はピークサービングスループットとして 402 リクエスト/秒を達成し、PyTorch-Nobatch よりも 4.06 倍の向上を実現。
• 動的プログラミングバッチスケジューラにより、402 リクエスト/秒で平均遅延を 7.49ms まで低減。長時間シーケンスではやや遅延が高くなるものの、スループット面でナイーブバッチ処理を上回る。
• 可変長入力（5–500 トークン）において、Tensor Core 最適化を活用した TurboTransformers は 144 リクエスト/秒を達成し、PyTorch-Nobatch よりも 2.4 倍の向上を実現。
• 長時間または大規模バッチを処理した後でも、中間テンソルの解放が遅れる問題を回避し、ONNX Runtime よりも小さなメモリフットプリントを維持。
• 固定長ベンチマークでは、ONNX Runtime や TensorRT と同等またはそれ以上の性能を発揮し、可変長入力もサポート。
• メモリアロケータにより、多様なシーケンス長にわたる中間テンソルの割り当てを効率的に管理し、メモリの無駄を削減。全体のシステムスケーラビリティが向上。