[論文レビュー] Dynamic Sparse Training with Structured Sparsity

Mike Lasby, А. В. Голубева+3 more|arXiv (Cornell University)|May 3, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、一定のファンイン制約を満たす細かい構造的N:Mスパarsityを学習する動的スパーストレーニング手法であるStructured RigL (SRigL) を提案する。これにより、一般化性能が非構造的動的スパーストレーニングと同等の高スパースなモデルを実現できる。構造的スパースネスとニューロンアブレーションを組み合わせることで、GPUでは最大13.0×、CPUでは最大3.4×の実世界の推論高速化を達成し、密なモデルおよび非構造的スパースベースラインを上回る性能を発揮する。

ABSTRACT

Dynamic Sparse Training (DST) methods achieve state-of-the-art results in sparse neural network training, matching the generalization of dense models while enabling sparse training and inference. Although the resulting models are highly sparse and theoretically less computationally expensive, achieving speedups with unstructured sparsity on real-world hardware is challenging. In this work, we propose a sparse-to-sparse DST method, Structured RigL (SRigL), to learn a variant of fine-grained structured N:M sparsity by imposing a constant fan-in constraint. Using our empirical analysis of existing DST methods at high sparsity, we additionally employ a neuron ablation method which enables SRigL to achieve state-of-the-art sparse-to-sparse structured DST performance on a variety of Neural Network (NN) architectures. Using a 90% sparse linear layer, we demonstrate a real-world acceleration of 3.4x/2.5x on CPU for online inference and 1.7x/13.0x on GPU for inference with a batch size of 256 when compared to equivalent dense/unstructured (CSR) sparse layers, respectively.

研究の動機と目的

• 標準的なハードウェア上で非構造的スパースニューラルネットワークによる実世界の推論加速を達成する課題に対処すること。
• 高スパースレベルにおいて非構造的動的スパーストレーニングと同等の一般化性能を維持するスパースからスパースへの動的トレーニング手法を開発すること。
• 一定のファンインとニューロンアブレーションを組み合わせた構造的スパースネスを可能とし、パラメータ効率とハードウェアフレンドリーなスパースパターンを両立させること。
• 動的トレーニングにより学習された構造的スパースネスが、CPUおよびGPUにおける高いモデル効率と実用的な加速を実現できることを示すこと。
• 構造的スパースネスが、モデルの精度を損なわずに推論効率を向上させるニューロンアブレーションと相乗効果をもたらすことを示すこと。

提案手法

• SRigLは、RigL動的スパーストレーニングフレームワークを拡張し、各ニューロンが固定数の非ゼロ入力重みを維持する一定のファンイン制約を課す。
• 本手法は、連続するM個の重みのうちN個が非ゼロである構造的N:Mスパースネスパターンを学習し、コンactかつハードウェア最適化された表現を可能にする。
• ニューロンアブレーションは、すべてのスパースネスレジームに統合され、その貢献度が低い場合に全ニューロンを動的に削除可能である。
• 独創的な実証的分析により、RigLのような非構造的DST手法は90%以上のスパースネスレベルで全ニューロンをアブレーションすることが判明し、これによりSRigLにニューロンアブレーションを組み込む動機付けが得られた。
• 構造的スパースネスパターンはトレーニング中にエンドツーエンドで学習され、勾配の大きさとファンイン制約に従ってプルーニングと再成長が誘導される。
• 本手法はスパース重み行列の圧縮表現を用いることで、CPUおよびGPUの両方で効率的な保存と計算を実現する。

(a) Constant fan-in pruning v.s. unstructured pruning.

実験結果

リサーチクエスチョン

• RQ1 非構造的スパースニューラルネットワークの実世界のハードウェア加速を実現しつつ一般化性能を維持する構造的スパースネスパターンを学習できるように、動的スパーストレーニングをどのように適応可能にすることができるか？
• RQ2 構造的スパースネスと組み合わせた場合、ニューロンアブレーションは高スパースネスレジームにおけるモデル性能と効率にどのように影響を与えるか？
• RQ3 構造的スパースネスにおいて一定のファンイン制約を課すと、非構造的スパースネスと比較して出力ノルムの分散がより安定的・予測可能になるか？
• RQ4 動的トレーニングにより学習された構造的スパースネスは、CPUおよびGPUにおける実世界の推論ベンチマークで非構造的スパースネスをどの程度上回るか？
• RQ5 一定のファンインとニューロンアブレーションを併用した構造的スパースネスは、モデル精度を損なわず推論速度を向上させる点で相乗効果をもたらすか？

主な発見

• SRigLは、複数のアーキテクチャにわたり99%のスパースネスまで非構造的RigLと同等の一般化性能を達成する、スパースからスパースへの構造的動的トレーニング分野で最先端のパフォーマンスを実現した。
• CPUでは、90%スパースネスにおいて、同等の密な層と比較してオンライン推論で3.4×、バッチ推論で2.5×の高速化を達成した。
• GPUでは、バッチサイズ256のバッチ推論において、非構造的CSRスパース層と比較して13.0×の高速化（オンライン推論では1.7×）を達成した。
• 一定のファンイン制約により出力ノルムの分散が低減され、高スパースネス下でもより安定的かつ予測可能なモデル動作が実現された。
• SRigLにおけるニューロンアブレーションにより、極めて高スパース（例：99%）な状況下でも顕著なニューロンを保持し、重要な重みの削除を回避することができた。
• 構造的スパースネスとニューロンアブレーションの組み合わせにより、メモリ効率が高く、パラメータ効率も高く、実際のハードウェアで著しく高速化されたコンactな表現が得られた。

(b) Output-norm variance analysis.