[論文レビュー] Compressing Neural Language Models by Sparse Word Representations

Yunchuan Chen, Lili Mou+3 more|arXiv (Cornell University)|Oct 13, 2016

Topic Modeling参考文献 28被引用数 11

ひとこと要約

この論文は、頻出単語の埋め込みをスパースな線形結合によってレアワードの表現を行うことで、語彙サイズに伴うパラメータ増加を著しく抑える圧縮ニューラル言語モデルを提案する。スパースコードと、安定なNCE訓練のための新規ZRegressionモジュールを活用することで、標準的な言語モデルと比較してパープレキシティを低下させるとともに、最大80％のメモリ削減を達成し、圧縮されていないベースラインを上回ることすら可能である。

ABSTRACT

Neural networks are among the state-of-the-art techniques for language modeling. Existing neural language models typically map discrete words to distributed, dense vector representations. After information processing of the preceding context words by hidden layers, an output layer estimates the probability of the next word. Such approaches are time- and memory-intensive because of the large numbers of parameters for word embeddings and the output layer. In this paper, we propose to compress neural language models by sparse word representations. In the experiments, the number of parameters in our model increases very slowly with the growth of the vocabulary size, which is almost imperceptible. Moreover, our approach not only reduces the parameter space to a large extent, but also improves the performance in terms of the perplexity measure.

研究の動機と目的

• リソース制限のある環境において特に顕著な、標準的なニューラル言語モデルの高いメモリ使用量とパラメータ要件に対処すること。
• 語彙サイズの増加に伴うパラメータ増加を抑えることで、パrameter効率を向上させること。
• 頻度が低いため勾配更新が不十分になるため、標準モデルで poorly tuned となるレアワードの表現学習を強化すること。
• NCEの訓練を安定化させるための新規ZRegression機構を導入し、収束性と性能を向上させること。
• パラメータ圧縮により、モバイルおよび組み込みシステムへの効率的な展開を可能にすること。

提案手法

• 語彙サイズの増加に伴うパラメータ増加を抑えるために、まれな単語の埋め込みを頻出単語の埋め込みのスパース線形結合（4〜8個の非ゼロ係数）として表現する。
• 事前に計算されたスパースコーディング方式を用いて、まれな単語を共通語のベクトルの重み付き和にマッピングし、スパース性によって意味的意味を保持する。
• 出力層の重みに対しても同様のスパースコーディング戦略を適用し、単語埋め込みと同様に予測サブネットを圧縮する。
• NCEにおける正規化係数 $ Z_h $ を予測する回帰ヘッドとしてのZRegressionを導入し、訓練の安定化と収束性の向上を図る。
• 大規模コーパス上で、ZRegressionを組み込んだNCEを用いて、圧縮モデルのエンドツーエンド訓練を実施する。
• 長距離の文脈を捉えるためにLSTMベースの再帰的エンコーダーを用い、単語埋め込みおよび出力重みすべてをスパースコードで圧縮する。

実験結果

リサーチクエスチョン

• RQ1 頻出単語の埋め込みのスパース線形結合を用いて、レアワードの表現を顕著な性能低下を伴わずに圧縮できるか？
• RQ2 スパースコーディングによるパラメータ圧縮は、語彙サイズに伴うメモリ消費量の増加を非線形的（サブラインアリス）に抑えるか？
• RQ3 提案されたZRegression機構は、標準的なNCEと比較してNCE訓練を安定化させ、性能を向上させられるか？
• RQ4 圧縮モデルは、圧縮されていないベースラインと比較して、より低いパープレキシティを達成できるか、特にレアワードに対して優れているか？
• RQ5 圧縮モデルは、語彙サイズが大きくなるに従って、性能を維持または向上させながらどの程度スケーラブルか？

主な発見

• 圧縮モデルは、圧縮されていないLSTM-zモデルと比較して、語彙サイズの増加に伴うパrameter数の増加が最小限に抑えられ、最大80％のメモリ消費量削減を達成した。
• LSTM-z,wおよびLSTM-z,wbモデルは、語彙サイズにかかわらず、ベースラインのLSTM-zを上回る性能を示し、LSTM-z,wは50k語彙のテストセットで79.75のパープレキシティを達成した。
• 圧縮モデルは、顕著に少ないパラメータ数で、より低いパープレキシティを達成しており、一般化性能の向上と、より良いレアワードモデリングが図られていることが示された。
• ZRegressionはNCE訓練プロセスを安定化させ、発散を防ぎ、特に後期の訓練段階での損失の振動を低減した。
• スパースコード（1語あたり4〜8個の非ゼロ値）は、意味的意味を的確に捉えており、性能の向上と安定した訓練が裏付けられた。
• 語彙サイズの増加に伴うパラメータ増加がほぼ一定に保たれるため、この手法により、メモリ制限のあるデバイスへの大規模言語モデルの展開が可能になった。