[論文レビュー] Statistical Model Compression for Small-Footprint Natural Language Understanding

Grant P. Strimel, Kanthashree Mysore Sathyendra+1 more|arXiv (Cornell University)|Jul 19, 2018

Topic Modeling参考文献 24被引用数 5

ひとこと要約

本稿では、パラメータの量子化と完全特徴ハッシュ化を用いた後処理型モデル圧縮フレームワークを提案し、最小限の性能低下で最大14.25倍のメモリ削減を達成している。ベースラインモデルと比較してスロット誤り率は+0.86%増加、意図分類誤り率は+0.26%増加にとどまる。

ABSTRACT

In this paper we investigate statistical model compression applied to natural language understanding (NLU) models. Small-footprint NLU models are important for enabling offline systems on hardware restricted devices, and for decreasing on-demand model loading latency in cloud-based systems. To compress NLU models, we present two main techniques, parameter quantization and perfect feature hashing. These techniques are complementary to existing model pruning strategies such as L1 regularization. We performed experiments on a large scale NLU system. The results show that our approach achieves 14-fold reduction in memory usage compared to the original models with minimal predictive performance impact.

研究の動機と目的

• 自動車内音声アシスタントなどのリソース制限のある埋め込みデバイスに大規模NLUモデルをデプロイする課題に対処する。
• クラウドベースのシステムにおいて、スキル固有のNLUモデルのメモリ容量を縮小することで、オンデマンドのモデルロード遅延を低減する。
• インターネット接続が利用できないオフライン環境におけるNLUモデルの効率的デプロイを可能にする。
• 再トレーニングや別々の設定を必要とせず、既存のモデルトレーニングパイプラインと互換性を持つポストプロセッシング圧縮技術を用いて、モデルサイズを顕著に削減しながら高い予測性能を維持する。
• 再トレーニングを必要とせず、既存のモデルトレーニングパイプラインと互換性を持つプラグアンドプレイ圧縮パイプラインを提供する。

提案手法

• モデル重みの精度を低下させることでメモリ使用量を削減しながらも、予測性能を維持するため、パラメータの量子化を適用する。
• 決定的ハッシュ関数を用いて高次元の特徴空間をコンactで固定長の表現にマッピングする、完全特徴ハッシュ化を実装する。
• 量子化と完全ハッシュ化を組み合わせることで、個々の技術を超える相乗効果による圧縮を達成する。
• 特徴マッピング中の誤検出を低減し、性能低下を最小限に抑えるために、ハッシュ処理にフィンガープrintを導入する。
• 制御された量子化レベルとハッシュ方式を用いて、メモリ容量、推論速度、予測精度のトレードオフを最適化する。
• MaxEntおよびCRFモデルを用いた実世界のNLUタスク（ドメイン分類、意図分類、名前付きエンティティ認識）において、圧縮パイプラインを評価する。

実験結果

リサーチクエスチョン

• RQ1 統計的NLUモデルのメモリ容量を著しく削減する際、パラメータの量子化はどの程度の性能低下を引き起こさずに可能か？
• RQ2 高次元のNLU特徴空間の圧縮において、完全特徴ハッシュ化はモデル精度を維持する上でどの程度効果的か？
• RQ3 量子化と完全ハッシュ化の組み合わせによるモデルサイズ、推論速度、予測性能への総合的影響は何か？
• RQ4 特徴ハッシュ化における誤検出はモデルの信頼性にどのように影響するか？また、フィンガープリントはこの問題を緩和できるか？
• RQ5 実世界のデプロイに適した圧縮NLUモデルにおいて、メモリ削減、遅延、予測精度の最適なバランスは何か？

主な発見

• 提案された圧縮フレームワークは、元のベースラインモデルと比較して14.25倍のモデルメモリサイズ削減を達成し、性能低下は最小限に抑えられた。
• 圧縮モデルは、サポートドメインのテストセットにおいてスロット誤り率（SER）が+0.86%増加、意図分類誤り率（ICER）が+0.26%増加にとどまる。
• フィンガープリントなしの超圧縮モデルでは、メモリ削減が25.3倍に達するが、誤り率の増加も顕著で、SERが+2.20%、ICERが+3.14%増加している。
• ドメインごとの性能分析から、大多数のドメインではF-ICERの増加が1%未満にとどまるが、ドメイン3はスパarsな高影響特徴のため+1.58%の増加を示している。
• ハッシュ化における誤検出は、ほとんどのパラメータが0に近いため、誤った特徴マッピングの影響は許容できる範囲にとどまる。
• 量子化と完全ハッシュ化の組み合わせは、メモリ節約、推論速度、予測精度の間で良好なトレードオフを提供し、埋め込み型およびクラウドベースのNLUシステムの両方で実用的である。