[論文レビュー] Accelerating Sparse Deep Neural Networks

Asit Mishra, Jorge Albericio Latorre+6 more|arXiv (Cornell University)|Apr 16, 2021

Advanced Neural Network Applications参考文献 52被引用数 14

ひとこと要約

本論文は、NVIDIAのAmpere GPUアーキテクチャにおけるスパーステンソルコアで2倍の数学演算スループットを実現する2:4構造的スパarsityパターンを導入する。密度の高いモデルをこの構造的パターンに pruning し、固定されたハイパーパrameterで一度再訓練することで、多様なアーキテクチャにおいてモデルの精度を維持しつつ、ハイパーパrameterのチューニングなしにハードウェアアクセラレートされた推論を可能にする。

ABSTRACT

As neural network model sizes have dramatically increased, so has the interest in various techniques to reduce their parameter counts and accelerate their execution. An active area of research in this field is sparsity - encouraging zero values in parameters that can then be discarded from storage or computations. While most research focuses on high levels of sparsity, there are challenges in universally maintaining model accuracy as well as achieving significant speedups over modern matrix-math hardware. To make sparsity adoption practical, the NVIDIA Ampere GPU architecture introduces sparsity support in its matrix-math units, Tensor Cores. We present the design and behavior of Sparse Tensor Cores, which exploit a 2:4 (50%) sparsity pattern that leads to twice the math throughput of dense matrix units. We also describe a simple workflow for training networks that both satisfy 2:4 sparsity pattern requirements and maintain accuracy, verifying it on a wide range of common tasks and model architectures. This workflow makes it easy to prepare accurate models for efficient deployment on Sparse Tensor Cores.

研究の動機と目的

• スパース深層ニューラルネットワークにおける高いモデル精度とハードウェアアクセラレーションの両立を図ること。
• 現代のGPUマトリクス演算パイプラインを活用できない未構造的スパarsityの限界を克服すること。
• 顕著な高速化を実現しつつ精度の損失なしに、実用的でハードウェアに配慮したスパarsityパターンを開発すること。
• ハイパーパrameterのチューニングなしに、pruning後に精度を維持する包括的なトレーニングワークフローを提供すること。
• テンソルコアにおけるネイティブなサポートを通じて、現代のGPUハードウェア上でスパースモデルを効率的にデプロイすること。

提案手法

• 4つの連続する値のグループごとに少なくとも2つのゼロを含む2:4構造的スパarsityパターンを提案し、効率的なハードウェア圧縮と計算を可能にする。
• 2:4スパーステンソルをメモリ上に効率的に表現するための圧縮ストレージフォーマットを設計し、帯域幅とストレージ要件を削減する。
• NVIDIAのAmpere GPUアーキテクチャに統合されたスパーステンソルコアを導入し、最初のオペランドが2:4スパースである場合、GEMM演算において2倍の高い数学演算スループットを達成する。
• 2段階のトレーニングワークフローを構築する：まず、マグニチュード基準に基づいて完全に訓練された密度モデルをpruningする。次に、元のトレーニングと同一のハイパーパrameterで、prunedモデルを再訓練する。
• 再訓練中に2:4スパarsityパターンを固定マスクとして強制することで、動的スパarsityやハイパーパramータ探索を必要とせず、ハードウェア互換性を確保する。
• ResNet、EfficientNet、BERT、ビジョントランスフォーマーを含む広範なモデルにこのワークフローを適用し、一貫した精度維持を実証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおいて、高いハードウェア利用効率と高いモデル精度を両立できる構造的スパarsityパターンを設計できるか？
• RQ2 ハイパーパramータチューニングや再最適化を必要とせず、pruning後にモデル精度を維持できる包括的なトレーニングワークフローを開発できるか？
• RQ3 スパーステンソルコアによるハードウェアアクセラレーションは、実世界のモデルにおいてどの程度のパフォーマンス向上を達成できるか？
• RQ4 2:4スパarsityパターンを強制することで、現代のGPUアーキテクチャで顕著な高速化を実現できるか、かつモデルパフォーマンスを損なわないか？
• RQ5 同じトレーニングワークフローを、変更なしに多様なアーキテクチャやタスクに普遍的に適用できるか？

主な発見

• 2:4構造的スパarsityパターンにより、NVIDIAのスパーステンソルコア上でGEMM演算に2倍の高い数学演算スループットが実現され、DNNにおける推論が直接高速化される。
• 提案された再訓練ワークフローにより、ResNet-50、EfficientNet-B0、BERT-Large、ビジョントランスフォーマーを含む多様なアーキテクチャにおいて、ハイパーパramータを一切変更せず、モデル精度が維持される。
• ResNet-50では、標準的なチャネルpruningを用いた場合、1.5%の精度損失を伴いながら2倍のスピードアップを達成したが、本研究のワークフローを適用することで、精度が完全に回復した。
• BERT-Largeでは、prunedかつ再訓練されたモデルが、INT8量子化後でさえも密度モデルと同等の精度を達成し、混合精度推論に対する高い耐性を示した。
• 画像分類、オブジェクト検出、自然言語理解の複数のタスクにおいて、実証的検証が行われ、一貫したパフォーマンスと精度が確認された。
• 予備的な結果から、同じ2:4パターンを用いた活性化のpruningが精度損失なしに可能であることが示唆されており、重み以外への応用可能性が示唆されている。