[論文レビュー] Compressing Language Models using Doped Kronecker Products

Urmish Thakker, Paul N. Whatmough+3 more|arXiv (Cornell University)|Jan 24, 2020

Blind Source Separation Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、大規模なNLPモデルにおける精度損失を回復するためにスパースなオーバーレイ行列を追加することで、Kronecker Productベースのモデル圧縮を強化するDoped Kronecker Product (DKP) 圧縮を提案する。共行列行ドロップアウト正則化 (CMR) を導入することで、トレーニング中の共行列適応を緩和し、25 MB のLSTM言語モデルを25倍に圧縮しても perplexity が1.2%増加にとどまり、スプライシング、LMF、HMD手法を上回る性能を達成した。

ABSTRACT

Kronecker Products (KP) have been used to compress IoT RNN Applications by 15-38x compression factors, achieving better results than traditional compression methods. However when KP is applied to large Natural Language Processing tasks, it leads to significant accuracy loss (approx 26%). This paper proposes a way to recover accuracy otherwise lost when applying KP to large NLP tasks, by allowing additional degrees of freedom in the KP matrix. More formally, we propose doping, a process of adding an extremely sparse overlay matrix on top of the pre-defined KP structure. We call this compression method doped kronecker product compression. To train these models, we present a new solution to the phenomenon of co-matrix adaption (CMA), which uses a new regularization scheme called co matrix dropout regularization (CMR). We present experimental results that demonstrate compression of a large language model with LSTM layers of size 25 MB by 25x with 1.4% loss in perplexity score. At 25x compression, an equivalent pruned network leads to 7.9% loss in perplexity score, while HMD and LMF lead to 15% and 27% loss in perplexity score respectively.

研究の動機と目的

• 大規模NLPモデルにKronecker Product (KP) 圧縮を適用した際、最大26%の精度低下が生じる問題に対処すること。
• スパースなオーバーレイ行列を導入することで、KP圧縮によるモデル容量の損失を回復し、追加の自由度を付与すること。
• 共行列適応 (CMA) を防ぐトレーニング手法を開発すること。これはDKPトレーニングにおける重要な課題であり、KPとスパース行列成分が共に適応し合い、性能が低下する原因となる。
• 既存の圧縮技術と比較して、高い圧縮比（例：25倍）を達成しながら、 perplexity の損失を最小限に抑えること。

提案手法

• 重み行列をKronecker Product行列（M_kp = B ⊗ C）とスパース行列（M_sp）の和として表現し、W = M_kp + M_sp とする。
• スパース行列 M_sp は初期段階で密であり、トレーニング中にプルーニングが行われる。これにより、モデルは M_kp に対して追加の自由度を必要とする要素を学習できる。
• 共行列行ドロップアウト正則化 (CMR) を導入し、各行に対して M_kp と M_sp の出力を独立にベルヌーイドロップアウトを適用することで、共適応を防止する。
• CMR は動的に調整される：M_sp がよりスパースになるに従い、正則化の強度が徐々に低下する。
• バックプロパゲーションを用いて M_kp と M_sp を同時に最適化するトレーニングプロセスを実施し、M_sp のスパarsity が全体の圧縮比を制御する。
• 本手法はLSTMベースの言語モデルに適用され、PTBベンチマーク上での圧縮比と perplexity が評価された。

実験結果

リサーチクエスチョン

• RQ1 Kronecker Productで圧縮された重み行列にスパースなオーバーレイ行列を追加することで、大規模NLPモデルにおける精度損失を回復できるか？
• RQ2 KPとスパース行列を組み合わせた際のトレーニング上の課題は何か？ そして、共行列適応は効果的に緩和できるか？
• RQ3 共行列行ドロップアウト正則化 (CMR) という新しい正則化スキームは、ドーピングKronecker Productモデルの安定したトレーニングを可能にするか？
• RQ4 DKPベースの圧縮は、スプライシング、低ランク因子分解、ハイブリッド手法と比較して、圧縮比と perplexity の点で優れているか？
• RQ5 DKPとCMRを用いて、最小限の perplexity 劣化で達成可能な最大圧縮比は何か？

主な発見

• DKPは25 MB のLSTM言語モデルを25倍に圧縮しても、テスト perplexity が1.2%増加にとどまり、ベースラインの82.04と比較して優れた性能を示した。
• 25倍圧縮の段階で、DKPはプルーニングされたネットワーク（7.9%の損失）と比較して、 perplexity 損失を7.9ポイントも低減した（DKPでは1.2%）。
• 25倍圧縮において、HMD（15%の perplexity 損失）と LMF（27%の損失）を上回り、優れた精度保持性を示した。
• CMR正則化は共行列適応を効果的に防止しており、M_sp のスパース度が高くてもトレーニング perplexity が安定していることが実証された。
• 最高性能を示した先行手法（Park et al., 2017）と比較して、2.5倍高い圧縮比を達成しながら、より低い perplexity を維持した。
• 100倍圧縮の段階で、DKPはテスト perplexity を138.3にまで低下させ、ベースラインの150.737から4ポイント改善した。これは、スパarsity を制御しながらもスケーラビリティを示している。