[論文レビュー] FastText.zip: Compressing text classification models

Armand Joulin|arXiv (Cornell University)|Dec 12, 2016

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 906

ひとこと要約

本稿では、識別的プルーニングと再訓練を用いた製品量子化（PQ）を用いてテキスト分類モデルを圧縮するFastText.zipという手法を提案する。最大1,000倍のモデルサイズ削減が可能であり、精度の損失は最小限に抑えられる。このアプローチにより、最先端のメモリ-精度トレードオフを達成し、100kB未満のモデルを実現しながら、標準ベンチマークで高い性能を維持できる。

ABSTRACT

Online communities can be used to promote destructive behaviours, as in pro-Eating Disorder (ED) communities. Research needs annotated data to study these phenomena. Even though many platforms have already moderated this type of content, Twitter has not, and it can still be used for research purposes. In this paper, we unveiled emojis, words, and uncommon linguistic patterns within the ED Twitter community by using the Correlation Explanation (CorEx) algorithm on unstructured and non-annotated data to retrieve the topics. Then we annotated the dataset following these topics. We analysed then the use of CorEx and Word Mover’s Distance to retrieve automatically similar new sentences and augment the annotated dataset.

研究の動機と目的

• スマートフォンなどのメモリ制限のあるデバイスに正確なテキスト分類器をデプロイする課題に対処すること。
• 特に単語埋め込みのメモリ使用量を削減するが、分類精度を損なわないようにすること。
• ハッシングと量子化にインspiredされた圧縮技術を検討し、性能を保持したまま極端なモデル圧縮を達成すること。
• メモリ-精度トレードオフに最適化された、実用的で再現可能なベースラインを提供すること。
• fastTextライブラリに新しい圧縮パイプラインを拡張し、実世界のデプロイに適したコンパクトで高速かつ正確なモデルを可能にすること。

提案手法

• 最適化された製品量子化（OPQ）を用いて、単語埋め込みと出力埋め込みをコンパクトなコードに圧縮し、メモリ使用量を最大1,000倍まで削減する。
• 埋め込みノルムに基づく識別的プルーニングを用いて、低影響の特徴を削除し、圧縮効率とカバレッジを向上させる。
• 二段階の再訓練戦略を導入：まず入力埋め込みを量子化し、その後出力分類器をファインチューニングして精度を回復する。
• マグニチュード/方向ベクトルパrametrizationを採用し、単位ノルムベクトルの効率的な量子化を可能にし、PQおよびLSHベースの手法と互換性を持つ。
• 階層的ソフトマックスとn-gram特徴ハッシングを用いて、辞書サイズを削減しながらモデルの表現力を維持する。
• 特徴プルーニング、量子化、再訓練を組み合わせることで、極端な圧縮時（特に64KiBおよび32KiBモデルサイズ）の精度低下を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 製品量子化をテキスト分類モデルに適応させることで、顕著な精度損失なしに極端な圧縮を達成できるか？
• RQ2 埋め込みノルムに基づく識別的プルーニングは、エントロピーに基づくプルーニングと比較して、カバレッジとパフォーマンスの面でどのように異なるか？
• RQ3 入力および出力重み行列の両方を量子化することで、モデルの精度とメモリ使用量にどのような影響を与えるか？
• RQ4 モデルサイズをどれほど削減できるか（例：64KiB未満まで）？ これは、受け入れ可能な分類精度を維持できるか？
• RQ5 量子化後に再訓練を行うことで、圧縮による性能損失を効果的に回復できるか？

主な発見

• FastText.zipは、標準的なfastTextと比較して、最大1,000倍のモデルサイズ削減を達成し、一般的なベンチマークで100kB未満のモデルを実現した。
• 64KiBではわずか0.8%の精度低下に抑えられ、32KiBでは1.7%の低下にとどまり、極端な圧縮に対しても高い耐性を示した。
• OPQを用いて入力および出力行列の両方を量子化した場合、FlickrTagデータセットではフルモデルと比較して精度が0.2%以内に保たれた。
• ノルムベースのプルーニングはエントロピー基準のプルーニングを上回り、特にマックスカバレッジプルーニングヒューリスティクスと組み合わせた場合に、カバレッジと精度の両面で優れた性能を示した。
• 本手法は、最先端のメモリ-精度トレードオフを達成し、標準的なfastTextおよび文字レベルのCNNと比較して、メモリ効率が優れていた。
• 量子化後に再訓練を行うことで、特にプルーニングと組み合わせた場合、性能の回復が顕著に向上し、最小サイズで高精度なモデルを実現できた。