[論文レビュー] Block-Sparse Recurrent Neural Networks

Sharan Narang, Eric Undersander+1 more|arXiv (Cornell University)|Nov 8, 2017

Advanced Neural Network Applications参考文献 22被引用数 96

ひとこと要約

本論文はブロック pruning とグループラソ Regularization を導入しRNNsとGRUsでブロック稀疎性を誘導し、最小限の精度低下で80–90%の稀疎性と約10xのモデルサイズ削減を達成し、最大32x32ブロックまで適用可能。

ABSTRACT

Recurrent Neural Networks (RNNs) are used in state-of-the-art models in domains such as speech recognition, machine translation, and language modelling. Sparsity is a technique to reduce compute and memory requirements of deep learning models. Sparse RNNs are easier to deploy on devices and high-end server processors. Even though sparse operations need less compute and memory relative to their dense counterparts, the speed-up observed by using sparse operations is less than expected on different hardware platforms. In order to address this issue, we investigate two different approaches to induce block sparsity in RNNs: pruning blocks of weights in a layer and using group lasso regularization to create blocks of weights with zeros. Using these techniques, we demonstrate that we can create block-sparse RNNs with sparsity ranging from 80% to 90% with small loss in accuracy. This allows us to reduce the model size by roughly 10x. Additionally, we can prune a larger dense network to recover this loss in accuracy while maintaining high block sparsity and reducing the overall parameter count. Our technique works with a variety of block sizes up to 32x32. Block-sparse RNNs eliminate overheads related to data storage and irregular memory accesses while increasing hardware efficiency compared to unstructured sparsity.

研究の動機と目的

• 音声認識や関連タスクにおける計算量とメモリ削減の動機付け。
• RNN/GRU 行列にブロック構造のスパース性を作るためのブロック pruning と group lasso 正則化を提案。
• 4x4 から 32x32 のブロックで大規模な音声データセット上の稀疎性と精度のトレードオフを評価。
• ブロック稀疎形式のハードウェア効率の利点を、非構造稀疎と比較して示す。

提案手法

• 重みをブロックごとに代表値の最大振幅を選択してブロックをゼロ化することでブロックを剪定するプリューニングを拡張。
• スケジュールパラメータを用いた単調増加の剪定閾値で訓練中に高い稀疎性を達成。
• ブロックレベルの稀疎性を促進するグループラソ正則化を剪定（GLP）と組み合わせて導入。
• ブロック pruning と group lasso（GLP）を組み合わせて、精度と稀疎性への影響を分析。
• 32x32 までのブロックサイズを検討し、ハードウェアの影響とメモリオーバーヘッド削減を議論。

実験結果

リサーチクエスチョン

• RQ1 ブロック pruning と group lasso 正則化は RNN/GRU において高いブロック稀疎性（80–90%）を実現し、精度損失を最小に抑えられるか？
• RQ2 ブロックサイズと剪定スケジュールは大規模音声データセットでの精度、パラメータ数、ハードウェア効率にどう影響するか？
• RQ3 ブロック pruning、group lasso、そしてそれらの組み合わせ（GLP）の比較性能はどうなるか？
• RQ4 剪定前の密なモデルのサイズを増やすと、最終的な稀疎性と精度はどう変化するか？

主な発見

MODEL	PARAMS (millions)	SPARSITY	CER	PERF	ALGORITHM
RNN Dense 1760	67	0.0%	15.36	0.0%	N/A
RNN Dense 704	11.6	0.0%	18.95	-23.4%	N/A
RNN Sparse 1760	7.3	89.2%	17.93	-16.7%	BP
RNN Sparse 2560	12.9	90.8%	15.89	-3.4%	GLP
RNN Sparse 3072	25.8	87.3%	15.66	-1.9%	BP
GRU Dense 2560	115	0.0%	15.42	0.0%	N/A
GRU Dense 704	11.0	0.0%	21.26	-37.9%	N/A
GRU Sparse 2560	10.8	90.6%	16.78	-8.8%	GLP
GRU Sparse 3584	25.6	88.4%	16.23	-5.2%	BP

• ブロック pruning と pruning を組み合わせた group lasso は、約89–90% の稀疎性を、精度劣化が軽微なレベルで達成（GRU の CER は 8.8%、RNN は 設定により 16.7–16.0%）。
• 稀疎化した RNN/GRU モデルはパラメータを概ね 10x 削減し、GRU 稀疎モデル 2560/3584 は CER を密なベースラインに近づける。
• より大きなブロックサイズ（最大 32x32）では、精度を保つために稀疎性を低くしても、メモリオーバーヘッド削減の利点を享受できる。
• プリuning なしの group lasso は GLP に比べ性能が劣ることが示され、剪定が稀疎性の効果を高めることを示唆。
• 大きく、より密なモデルを pruning することで（例：2560/3072）、密なベースラインに近い精度を回復しつつ高い稀疎性を維持できる。