[論文レビュー] GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking

Patrick H. Chen, Si Si+3 more|arXiv (Cornell University)|Jun 18, 2018

Topic Modeling被引用数 16

ひとこと要約

GroupReduceは、頻度の高い語をクラスタリングしてブロック単位で処理し、各ブロックに対して重み付き低ランク近似を適用する、ブロック単位で周波数に配慮した低ランク近似手法を提案する。語彙が大きいニューラル言語モデルの埋め込み行列とソフトマックス行列の圧縮に用いられ、量子化と組み合わせることで、埋め込みおよびソフトマックス行列に対して最大26倍の圧縮を達成。One-Billion-Wordベンチマークにおいて、パープレキシティの低下を最小限に抑えながら、モデルサイズを12.8倍に削減した。

ABSTRACT

Model compression is essential for serving large deep neural nets on devices with limited resources or applications that require real-time responses. As a case study, a state-of-the-art neural language model usually consists of one or more recurrent layers sandwiched between an embedding layer used for representing input tokens and a softmax layer for generating output tokens. For problems with a very large vocabulary size, the embedding and the softmax matrices can account for more than half of the model size. For instance, the bigLSTM model achieves state-of- the-art performance on the One-Billion-Word (OBW) dataset with around 800k vocabulary, and its word embedding and softmax matrices use more than 6GBytes space, and are responsible for over 90% of the model parameters. In this paper, we propose GroupReduce, a novel compression method for neural language models, based on vocabulary-partition (block) based low-rank matrix approximation and the inherent frequency distribution of tokens (the power-law distribution of words). The experimental results show our method can significantly outperform traditional compression methods such as low-rank approximation and pruning. On the OBW dataset, our method achieved 6.6 times compression rate for the embedding and softmax matrices, and when combined with quantization, our method can achieve 26 times compression rate, which translates to a factor of 12.8 times compression for the entire model with very little degradation in perplexity.

研究の動機と目的

• 大規模語彙の埋め込み行列とソフトマックス行列によるメモリ使用量の高さ（全パラメータの90％以上を占める可能性がある）を軽減すること。
• 語彙埋め込み行列の特徴的な統計的構造のため、従来の低ランク近似やプルーニングといった標準的手法が性能を発揮しない問題を改善すること。
• 語の周波数のパワー則分布（Zipfの法則）を活用し、言語モデルの各層に特化したより効果的な圧縮戦略を設計すること。
• 入力埋め込み行列と出力ソフトマックス行列の両方に対して同時に高い圧縮率を達成し、メモリ制限のあるデバイスへの効率的なデプロイを可能にすること。
• ブロック単位で重み付き低ランク近似が、既存の手法に比べて圧縮効率と精度保持性において顕著に優れていることを実証すること。

提案手法

• 学習データにおける出現回数に基づいて語を頻度ベースのブロックにグループ化し、語の周波数のパワー則分布を活用する。
• 各ブロックに対して重み付き低ランク近似を適用し、高頻度語の表現品質を保つために重み付けを強化する。
• クラスタ割り当てと低ランク近似を繰り返し最適化することで、各ブロックの部分空間射影の品質を向上させる。
• 得られた低ランク行列を、モデル内の元の埋め込み行列およびソフトマックス行列の代替として使用する。
• GroupReduceの圧縮を、トレーニング後の量子化と組み合わせることで、さらにメモリ使用量を削減する。
• 最初は圧縮されたレイヤーを固定した状態でモデルを再訓練し、その後すべてのパラメータをファインチューニングすることで性能を回復させる。

実験結果

リサーチクエスチョン

• RQ1 標準的な低ランク近似手法と比較して、ブロック単位で周波数に配慮した低ランク近似は、ニューラル言語モデルの埋め込み行列およびソフトマックス行列の圧縮効率を顕著に向上させるか？
• RQ2 語の周波数のパワー則分布を活用することで、圧縮品質が向上し、モデル性能を維持できるか？
• RQ3 プルーニングや量子化といった最先端の圧縮技術と比較して、GroupReduceは圧縮率とパープレキシティの低下の両面で優れているか？
• RQ4 GroupReduceは、入力行列と出力行列の両方に対して高い圧縮を同時に達成でき、全体のモデルサイズを著しく削減できるか？
• RQ5 ブロック単位近似における最適なクラスタ数は何か？また、このハイパーパrameterにどれほど感度があるか？

主な発見

• One-Billion-Word (OBW) データセットにおいて、GroupReduceは埋め込みおよびソフトマックス行列に対して6.6倍の圧縮を達成し、パープレキシティの上昇は最小限（31.04から33.61に）に抑えられた。
• 量子化と組み合わせた場合、GroupReduceは埋め込みおよびソフトマックス行列に対して最大26倍の圧縮を達成し、5GBを超えるメモリ使用量の削減が実現した。
• OBW-bigLSTMモデル全体では、12.8倍のモデル圧縮率を達成し、パープレキシティは31.04から33.61にわずかに上昇した。
• DE-EN 神経機械翻訳タスクでは、GroupReduceは埋め込みおよびソフトマックス行列に対して24倍の圧縮を達成し、再訓練後もBLEUスコアは30.33から29.68にわずかに低下した。
• 入力埋め込み層において、GroupReduceは深層合成コーディング手法を2倍の圧縮率で上回り、かつ入力・出力両方の行列を圧縮可能である点で優位性を示した。
• クラスタ数の変更に対して頑健であり、5〜30クラスタの範囲で性能にほとんど差がなかった。大規模なOBW語彙では、20クラスタが最良の性能を発揮した。